crawl-delay и robots.txt

D
На сайте с 03.07.2008
Offline
35
504

Подскажите пожалуйста, а директива crawl-delay в robots.txt действует на всех поисковых ботов, или только на яшу?

Лью траф сюда, высокий конверт! (http://bit.ly/SSE20b)
[umka]
На сайте с 25.05.2008
Offline
456
#1

Только на тех, которые обращают внимание на robots.txt и понимают соответствующую директиву :)

Лог в помощь!
D
На сайте с 03.07.2008
Offline
35
#2

Действует ли она на гуглобота в частности?:)

разобрался - напрямую не действует, скорость индексации надо выставлять в гугловской панели вебмастера:)

[umka]
На сайте с 25.05.2008
Offline
456
#3

В очередной раз убеждаюсь, что человеку достаточно 10-15 минут времени, чтобы подумать, и ответы на вопросы таки находятся :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий