Использование заголовка с Last-Modified совместно с выдачей 200 Ок ничего не даст.
Чтобы робот не перезасасывал все по новой нужна корректная обработка If-Modified-Since в запросе.
Никто не обязан руководствоваться правилами robots.txt, потому что это рекомендация, но все же основная масса старается их выполнять, так как могут просто закрывать доступ "некультурным" роботам.
Воспользуйтесь поиском по форуму, здесь много раз обсуждалась данная тема.
funnybunny, а когда добавляли эту страницу через форму?
wolf, робот D, насколько я замечал, не только проверяет URL, но вытаскивает страницу, а вот ссылки с нее уже идут "на подкормку" индексатора.
Привет товарищам от соседнего факультета! ;)
А как натравить вашего робота на сайт?
И как система работает под ощутимой нагрузкой?
Да, интересная получается игрушка.
Как і(%B3), так и ї(%BF) дают в энциклопедии "и", а є -- "е".
Обратите внимание, что:
Такие вопросики могут вылезать при работе русского модуля Апача, а для Яндекса:
Server: Apache/1.3.6 (Unix) PHP/4.0.1pl2 mod_perl/1.19 rus/PL28.15
Ладно, тут гадать можно долго, остается ждать или исправлений, или комментариев.
А знают ли остальные n пользователей из Белоруссии?
Вспомнился "Городок", где "Большевики ликвидируют безграмотность" (ликидируя безграмотных). ;)
Не формировать, а обрабатывать.
Как неоднократно замечал многоуважаемый Aik, надо читать rfc, в данном случае rfc-2616.
Не будут, если кроме даты обрабатывать заголовок запроса If-Modified-Since, если же просто выдавать дату и "200 Ок", то робот все равно будет забирать документы.
Не всегда.
А как у Яндекса с беларусским языком дела обстоят, никто не знает?
