Форум Поисковые системы Google

Как эффективнее всего осуществлять парсинг выдачи Google

H
На сайте с 26.06.2013
Offline
35
Harmant
1057

Всем привет.

Хочется парсить очень много выдачи гугла (топ 100, разные локации) достаточно длительный период на linux-сервере.

Какие сейчас наиболее эффективные способы по затратам? Вот такие вопросы появились:

  • Какие нужны ip-адреса? ipv4 или ipv6?
  • Нужно иметь свои сервера с большим количеством ip-адресов или лучше использовать прокси с большим пулом адресов?
  • Эффективны ли мобильные (4G/LTE) ip-адреса для этих задач?
  • Есть ли библиотеки или сервисы для ocr разгадывания recaptcha2 (не human-based вроде антигейта), насколько они эффективны?
  • Стоит ли вообще разгадывать капчу или лучше менять айпишники постоянно?
  • Есть ли ускорение за счет того что, запрашивать можно 1 страницей по 100 результатов (или лучше просить 10 по 10)
  • Есть ли какие-то рекомендации по эмуляции браузера (нужна ли она вообще или лучше в много потоков запрашивать игнорируя эмуляцию)?
anchous
На сайте с 12.10.2010
Offline
139
anchous
#1

по затратам эффективно ип6, по жизнеспособности ип4.

если говорить об ип4 то желательно большое количество различных сеток, длительные таймауты и ротация запросов таким образом, чтобы с одной сетки не шли одновременно или друг за другом. рекапчу все равно придется разгадывать, но сильно меньше.

мобильные тоже пойдут, другое дело что в связи с таймаутами перезагрузки модема, на капчу будет сливаться сильно больше

Купить быстрые анонимные прокси в России, Европе и США (http://proxy4seo.net/)
ihor.ru: VDS с SSD Xtool.ru Сервис проверки "траста" Etxt Антиплагиат 2.0. Проверка
H
На сайте с 26.06.2013
Offline
35
Harmant
#2

ipv6 банится все так же подсеткой /64 вроде?

чем эффективно разгадывать рекапчу сейчас? если не разгадывать рекапчу - айпишник сколько должен отлеживаться? эмулировать браузер нужно (куки, джаваскрипт?, паузы)

anchous
На сайте с 12.10.2010
Offline
139
anchous
#3
Harmant:
чем эффективно разгадывать рекапчу сейчас?

в промышленных масштабах ксевил, капмонстр

Harmant:
ipv6 банится все так же подсеткой /64 вроде?

не следил, если честно. 48 сетки для парса хватало

Harmant:
айпишник сколько должен отлеживаться? эмулировать браузер нужно (куки, джаваскрипт?, паузы)

отлеживаться желательно от 60-90 сек, но чем дольше, тем меньше шансов отхватить капчу. в идеале несколько сотен запросов через 1 прокси, размытые по суткам, но тут все надо считать эмпирически, что дешевле - взять лишнюю сотню прокси или потратиться на капчу

эмулировать человеческие запросы желательно

РИФ+КИБ 2011: Станислав Ставский Обзор первой Вебмастерской Яндекса IBC Russia 2014: «Яндекс

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий