Еще раз о last-modified

На мой взгляд все время "свежая" дата для робота то же самое что и никакой даты last-modified. Робот БУДЕТ забирать документ и если со временем выяснит что изменений нет, то забирать будет все реже. Но вот на это "выяснение" ему может понадобиться много времени.

Лучше выдавать 304 на запрос с заголовком if-modified-since. Такие документы, как я понимаю, НЕ входят в квоту забираемого за раз.

Правильное понимание... Так можно сильно ускорить работу индексатора.

Infors, у меня подобная проблема. Яндекс 2 года назад прекратил добавление новых страниц. Старые не обновляются (Яндексом не обновляются. Мной обновляются). Версия с баном отпадает, потому что во-первых, не за что, во-вторых, через addurl страницы добавляются. Остальные поисковики индексируют нас очень хорошо.

Дата last modified тоже отсутствует, тест, который вы приводите, тоже показал, что Яндекс дату видит. Но я видела в Яндексе полно сайтов тоже с отсутствующей датой последней модификации, с прекрасно проиндексированными обновлениями. Так что, не факт, что это верный след.

Переписка с Яндексом света не пролила. Но я и не очень усердствовала в этом направлении, потому что сайт некоммерческий и результаты в Яндексе для меня вопрос, в основном, морального удовлетворения.

Тем не менее, хотелось бы разобраться. Напишите, если вам удастся решить проблему.

Похоже, что именно так все и происходит. Робот забирает только старые - неизмененные документы, а новые просто игнорирует.

Не совсем понял, что это такое, но звучит заманчиво :) и надеюсь, что программисту это будет понятно. Если что-то измениться обязательно сообщу.

RFC2616 Вам поможет понять все... (Искать лучше в Гугле ;))