Парсинг выдачи гугла - антибан

Yahooo · 2013-10-09T11:48:25.0000000Z

Сделал скрипт, который получает количество результатов по ключевому слову (php+curl). Прикрутил список из 130 проксей. Задержка между запросами 4-8 сек, после каждого запроса меняется прокси и user-agent. Но это не помагает, после первого прохода всего списка проксей (т.е. 130 запросов), каждый прокси оказывается забаненым. Никак не могу понять, как гугл вычисляет парсер. Пробовал такие варианты: Включил куки, по каждому ip выполнять 3 запроса, чистить куки Парсил без прокси со своего локалхоста - около 100 запросов было нормально, потом гугл начал банить, причем, если зайти с браузера - предложит ввести капчу, вводишь - ищешь нормально (через браузер), при этом скрипт в этот же момент оказывается забаненым. Посоветуйте, что еще можно предпринять?

114

Анабой Янсур

10 октября 2013, 23:12

#11

Если будете парсить Content Downloader, то с авторизацией, в один поток и при задержке в 1 секунду, парсится без бана круглосуточно. Юзер агент один и тот-же, иначе слетает авторизация.

yozik13

11 октября 2013, 00:18

#12

Я месяц потратил на такую же беду, бесполезно. Видимо у гугла очень хитрые алгоритмы и КУРЛом его не надуриш.

Google: E-E-A-T не является фактором ранжирования

Что делать, чтобы попасть в ответы Google Bard

Парсинг выдачи гугла - антибан