Боты Яндекса вечером и ночью

1 23
Н
На сайте с 20.01.2006
Offline
48
#21
SubAqua:
Все один и тот же

site.ru 213.180.217.219 - - [16/Oct/2006:00:00:26 +0300] "GET /image/myics200/3.gif/mode2 HTTP/1.1" 200 182 "-" "Yandex/1.01.001 (compatible; Win16; P)"

site.ru 213.180.217.5 - - [16/Oct/2006:00:52:25 +0300] "GET /c81d/art4/ HTTP/1.1" 200 186 "-" "Yandex/1.01.001 (compatible; Win16; I)"

и html поглощает, и картинки.

Один из малоизменяемых сайтов (обновления раз в месяц, страниц - два десятка) эти боты посещают ежедневно. И жрут одно и то же.

Второй, который дополняется 2-4 раза в неделю, посещают не каждую неделю, да и то, съедят robots.txt и идут дальше. Раз в две-три недели могут заметить добавления.

Видимо, расписание у них такое.

Го (http://GoStart.ru) - самая пленительная игра (http://forum.kido.com.ru) в мире.
1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий