Правильно, не надо. Где-нибудь можно взять информацию по посещаемости разделов ЯК?
Sanchoys, да не всегда удаляют, могу даже пример привести :)
Romka, а в каком разделе каталога, и в каком количестве идет траффик?
Вам же объяснили, зеркало передает вес.
Опоздал ;)
Наверно клоакеры какие-то, которые клоачат по полю user_agent :D
il4, директива Revisit-After в <head></head>, это было в каменном веке 😂
il4, я не сомниваюсь, что Вы это уже давно читали :) но считаю, что Last-Modified все-таки влияет на работу индексатора.
Это не тег, а заголовок ;)
Дату документа берет по Last-Modified
http://webmaster.yandex.ru/faq.xml?id=502499#last-modified
файл с локального компа не играет роли.
Да, и думаю, что не стоит в Last-Modified писать текущую дату для всех страниц, так как робот в этом случае не сможет расставить приоритет - какие страницы действительно изменились, и их стоит переиндексировать в первую очередь, а какие не изменялись с момента последней индексации. Число страниц, получаемых роботом с сайта за один заход, ограничено.
Real, в общем случае, статистика не портится, практика показывает. Мало кому взбредет в голову дергать браузером robots.txt с ложным user_agent :)
Нужно эту строку проанализировать :) у юзера будет что-нибудь типа Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.6 (build 01425)), в общем смотря каким браузером открывает, а, например, у Яндекса, смотрите пост
/ru/forum/comment/1461154
