Интервал, обновления robots

Эм, так ты его сам должен заполнять)

З.ы. а если вопрос в частотности индексации ПС, ну так это по апам отслеживается, когда был робот на сайте - тогда и произошел учет robots.txt

с каким интервалом вы его будете обновлять, так и будет

а если вы про поисковики, то при каждом заходе на сайт, поисковик, должен, проверять его

Я же вам писал, загляните в логи своего сайта и посмотрите, как часто роботы скачивают ваш robots.txt.

Это абсолютно конкретный вопрос, на него есть точный ответ, он в логах вашего сайта. Для других сайтов ответ будет другой для каждого из роботов.

Вы же именно это имели в виду, а не как часто вы сами вносите измения в этот файл.

MixEg90, опередил

Я имел ввиду именно ботами новая версия качается.

Просто прошло уже 18 часов, гугл не обновил. Хотя страницы новые попадают в индекс, а вот Яндекс вообще новые новости перестал отображать.

Может быть раз в сутки, а может каждые 3 минуты.

Вынужден процитировать себя еще раз:

Прошло уже 24 часа, а вы так и сидите в той же позе.

66.249.66.249 - - [01/Sep/2011:16:51:43 +0400] "GET /tags HTTP/1.1" 404 1281 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Я так понимаю гугл бот ходит?

Да. Видите, у вас же все есть.

Только вы отфильтруйте строки, в которых встречается robots.txt, ведь именно это вас интересует. А вы привели запрос к урлу /tags .

"Только вы отфильтруйте строки" - как понять? И стоит ли дежать поиск по тэгам открытым для поисковика?

Это можно понять только одним способом:

вы должны взять лог-файл (например за сутки) и выбрать из него те строки, в которых встречается подстрока 'robots.txt'.

После этого вам будут хорошо видны обращения разных ботов к этому файлу.

Какой использовать инструмент? Если у вас нет grep, возьмите Excel и используйте фильтр.