Яндекс. Что за робот?

69

buraxxx

12 декабря 2005, 20:24

517

Что за робот Яндекса приходит с ip 213.180.206.248 ?

Приходит ровно раз в месяц, спустя 30 дней.

Забирает только robots.txt и главную страницу сайта "/"

482

Sergey Petrenko

12 декабря 2005, 21:26

#1

Роботов Яндекса лучше распознавать по User-agent.

69

buraxxx

12 декабря 2005, 21:44

#2

213.180.206.248 - - [12/Dec/2005:18:10:07 +0300] "GET /robots.txt HTTP/1.1" 200 57 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.206.248 - - [12/Dec/2005:18:10:09 +0300] "GET / HTTP/1.1" 200 17903 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Вот такие логи оставляет...

JR

263

jED R.

12 декабря 2005, 21:53

#3

482

Sergey Petrenko

12 декабря 2005, 22:01

#4

Обычный индексатор, короче.