Помощь с парсингом Гугла

12 3
B
На сайте с 22.09.2009
Offline
23
1226

Здравствуйте! Возникла необходимость в парсинге выдачи Гугла, а именно ТОП100. Моими усилиями получилось достать только ~ТОП60, Гугл "чует", что парсят и больше давать не хочет. Может есть специалисты, гуру-парсинга, которые сталкивались с данной проблемой? Готов отблагодарить :)

splish
На сайте с 25.01.2011
Offline
114
#1

Задержку ставили?

bukachuk
На сайте с 07.09.2008
Offline
97
#2

&num=100 в запросе укажите будет уже 100 на страницу за запрос, ну а там уже либо капчу пробивайте либо прокси

Программирование PHP,Mysql (/ru/forum/934470)
B
На сайте с 22.09.2009
Offline
23
#3
bukachuk:
&num=100 в запросе укажите будет уже 100 на страницу за запрос, ну а там уже либо капчу пробивайте либо прокси

Да num=100 стоит, но не хочет давать 100, хоть убей

---------- Добавлено 17.10.2012 в 23:34 ----------

splish:
Задержку ставили?

Задержки и борьба с капчей полезна, чтобы не банили (с этим проблем нет), проверяю один единственный ключ (периодически меняю его, т.е. бана в принципе быть не может), в результате хочу получить ТОП 100, но не получается

T
На сайте с 11.08.2005
Offline
181
#4

обязательно передавайте куки, которые получили при первом обращении.

тогда парсить станет значительно проще...

bukachuk
На сайте с 07.09.2008
Offline
97
#5

Не понял вы результат от гугла выводите на экран и там 60 результатов в выдаче?

B
На сайте с 22.09.2009
Offline
23
#6
Timen:
обязательно передавайте куки, которые получили при первом обращении.
тогда парсить станет значительно проще...

И куки передавал (может конечно не те, что нужно :) ). Кто-то вообще, в последнее время парсил ТОП100 одним запросом?

---------- Добавлено 17.10.2012 в 23:41 ----------

bukachuk:
Не понял вы результат от гугла выводите на экран и там 60 результатов в выдаче?
Да, именно это и смущает. Независимо от того, какой стоит ключ, всёравно не больше ТОП60. Читал (не помню где), что Гугл так борется с парсингом
BOOT
На сайте с 22.03.2007
Offline
84
#7

Кидайте мне запросы, я вам выдам выдачу по каждому запросу. у меня по 900-1000 ссылок с запроса парсится

недвижимость ПМР (http://doskapmr.ru/advert1263.html) | Удалённая работа, быстро и качественно (http://www.work-zilla.com?ref=170043)
B
На сайте с 22.09.2009
Offline
23
#8
BOOT:
Кидайте мне запросы, я вам выдам выдачу по каждому запросу. у меня по 900-1000 ссылок с запроса парсится

Спасибо, но мне нужен скрипт, а не выдача. Готовы поделиться (не за бесплатно)?

bukachuk
На сайте с 07.09.2008
Offline
97
#9

google com/search?hl=ru&num=100&filter=0&safe=0&ie=UTF-8&oe=UTF-8&q=

такой запрос делаете?

ща пробывал 100 результатов

BOOT
На сайте с 22.03.2007
Offline
84
#10
bboriska:
за бесплатно

Беру прогу контенд даунлодер (крэк) и парсю им выдачу. ☝ Могу поделится бесплатно готовым проектом под парсинг гугла.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий