Иногда помогает установить http_header:Last_Modified в дату последнего изменения. Если возможно - хорошо поставить перехватывающий серверный скрипт, который автоматически добавляет этот заголовок с текущей датой непосредственно при обращении к странице - например, если сайт на ASP или php (см. соответствующие мануалы). Тогда роботы (по крайней мере, на яндексе и рамблере это проверено) будут считать сайт часто меняющимся и станут чаще на него ходить для переиндексации.
В любом случае не помешает прописывать в head html-потока мета-тег <meta http-equiv="Last-Modified" content="(дата изменения в формате GMT)">
Проверено :)
Всем привет!
Достоверно знаю вот что:
1. Рамблер и Яндекс учитывают файл для индексирования разделов (лично общался с их администрациями по поводу раскрутки сайтов клиентов)
2. Дикий прикол - если этот файл не поставить в корень домена третьего уровня (мы обычно на такие домены ставим тестовые версии сайтов, чтобы клиент свой сайт мог посмотреть), и не "запереть" разделы, то Яндекс и Рамблер, не найдя этот файл, проиндексирует сайт (домен), который вы не хотите индексировать, но на который где-нибудь есть ссылка. Мы так с одним тестовым сайтом заняли первое место в Яндексе, сами того не желая😂 Причем текст стоял тестовый, с каких-то новостей сдёрнутый.
