Хочу полазать роботом по выдаче Гугля. Какой таймаут делать ?

R
На сайте с 05.08.2003
Offline
17
570

Робот будет делать запросы и анализировать выдачу. Какой временной шаг надо сделать что б не попасть под бан ip моего сервера ? Думаю 2 минуты поставить ...


Хостинг для бобров (http://www.hqhost.net/?pid=77)
AF
На сайте с 10.09.2003
Offline
46
#1

ты имеешь ввиду разницу в 2е минуты перед каждым гетом?

если так, то можешь смело уменьшить секунд до 5 +- random(3)

попробуй с какого-нибудь левого айпишника, наверное даже и без таймаута все ок будет.

(Проверял на асику.ком, все рулез без всяких таймаутов, подсетка бан получила только через месяц. Думаю гугл к этому аналогично отнесется.)

С уважением, Дима
[Удален]
#2

Вообще 2 минуты это получится 720 в сутки, а до 1000 запросов в сутки они разрешают делать легально, с помощью их api. А так вроде народ самостоятельно по 5 или 10 тыс. делал в сутки и ничего, не банили (но риск конечно имеется).

U
На сайте с 28.10.2001
Offline
109
#3

лучше с десяток провереных прокси заюзать, и проблем не будет...

дёшево хостим блоги здесь (http://sgmanaged.com/ru/) и тут-же наполняем их (блоги) контентом (http://republisher.ru)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий