Как парсить выдачу в Google

получить позиции страницы а не сайта в выдаче

Как-то надо было спарсить 9000 запросов, ничего бесплатного что давало бы нормальный результат не нашел. Лучшим был батерфляй, но он не дает страницы, а только адреса сайтов. Селка с гуглом у меня не заработала.

В результате написал свой скрипт под phantom.js. Вариант только на PHP работал совсем не долго, да и с вводом капчи в нем была проблема.

Собственно сам скрипт, для тех кто хочет поиграться.

[ATTACH]153539[/ATTACH]

На американских форумах читал что можно делать 1 запрос в минуту (1440 в сутки) с одного ай пи адреса, и нормально.

Если нужны не сильно большие объемы и не сильно срочно (ну там 9 тысяч за неделю), то должно хватить без всяких прокси.

Я пробовал варьировать задержкой, в том числе и в 2 минуты (включая случайную). примерно 120 запросов и будет капча. Это при условии поддержки куков и JS.

И еще момент. Если по каком-либо запросу вышка капча. То ответ на этот запрос будет только через капчу (с того же IP).

Если парсить выдачу в больших объемах без прокси ни как не обойтись, можно на IPv6 купить они дешевле будут google с ними нормально дружит.

Key Collector - пробовали?