Время индексации на yandex?

Интересно, где вы это замечали? Какой конкретно поисковик отваливает в этом случае?

Если честно сказать, то я это замечал довольно давно - года три-четыре назад. Поисковик - кто-то из западных. Точнее сказать не могу, т.к. не помню. Просто поставил себе это на заметку.

А я неоднократно видел, как робот брал robots.txt с откликом 200 OK, в котором все разрешено, и тоже отваливал. Можете и сей факт поставить себе на заметку. ;)

Такое я тоже видел.

Но разница в том, что он потом возвращался и брал другие файлы.

А в моем случае возвращался, проверял robots.txt и опять отваливал :)

Наверное, это был неправильный робот и он делал неправильный мёд, пардон, поисковую базу. :)

Бот Inktomi так одно время развлекался. Но не всегда.

Напомните-ка, кто из ботов каждый второй запрос делал к robots.txt - кажется, тоже Inktomi?

Кстати, а что это Гугль повадился ко мне несколько раз в день ботом смотреть robots.txt и считывать только главную страницу?

ЗЫЖ Ресурс новый.

Это фреш-бот. Он ко многим ежедневно заглядывает.

Scooter.