Бан гугла!парсинг...

xalturka-z
На сайте с 08.04.2009
Offline
33
808

Кто как бориться с баном гугла при парсинге его...?

http://ukhta news.ru (http://ukhta news.ru)
MIND
На сайте с 08.03.2007
Offline
238
#1

Очевидно же, что сменить ИП и почистить, на всякий случай, кукесы гугловские :).

Key Collector - автоматизированная система анализа семантического ядра (/ru/forum/863504)
SaleSeo
На сайте с 26.07.2007
Offline
352
#2

Юзайте прокси

Прогон BULLET для крауд,PNB,зеркал,доров https://bootmasterru.com/postingbyxrumer.html | Честное SEO,настройка Я Директ,семантика и оптимизация под ключ https://saleseo.ru :)
xalturka-z
На сайте с 08.04.2009
Offline
33
#3

не он же банит временно... например 1000 запросов отработал а потом отрубил...или с ним только прокси юзать?

MIND
На сайте с 08.03.2007
Offline
238
#4
xalturka-z:
не он же банит временно... например 1000 запросов отработал а потом отрубил...или с ним только прокси юзать?

Как насчет таймаута? Тоже банит? А так, да, прокси отлично выручают.

xalturka-z
На сайте с 08.04.2009
Offline
33
#5

Задержку в 5000 милисек. делал..все равно бан...🙅

[Удален]
#6

xalturka-z, попробуйте увеличить таймаут. А лучше сделать его рандомным.Но не ниже определенной величины.

Ну и прокси конечно.

xalturka-z
На сайте с 08.04.2009
Offline
33
#7

всем спасибо...но ни чего нового конечно..)

[Удален]
#8

xalturka-z, а чего вы ожидали? Если у кого-то есть способ обхода без прокси, то какой смысл ему его палить? Спалит и что? его прикроют через время.

xalturka-z
На сайте с 08.04.2009
Offline
33
#9

всё верно...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий