У меня нередко роботы заходят с If-Modified-Since и получают 304 ответ.
Если назвался Яндексом, а хост не принадлежит \.yandex\.(?:com|net|ru)$, то однозначно в бан. Именно хост, а не IP адрес. Так же и по другим поисковикам.
Я подразумевал отдачу хотлинкерам вирусов, страниц с порно и прочее, редирект на сайты чекистов и т.д., за что потом бумерангом вернется - и по башке.
Не надоело засерать Интернет?
Основная цель при использовании Last-Modified - управление отдачей содержимого страниц. Т.е. когда не хотите, чтобы роботы или люди лишний раз грузили страницы с сервера, отдаете 304 заголовок (страница не грузится). Все это применяется вкупе с кэшированием. И во всем этом нужно очень хорошо разбираться.
Если ничего не понимаете - ничего не делайте.
Ключевое слово.
Так делайте статический кэш готовой страницы и по дате его изменения отдавайте If-Modified-Since. Если кэш не менялся - грузите его, если его нет или устарел - формируете страницу заново.
Ага, а потом из-за него уже вам не весело будет, поскольку он либо с вашего домена грузится, либо с чужого через ваш же редирект.
Уже давно не пользуюсь поиском Яндекса, где на полстраницы - проплаченная реклама, а на оставшемся месте - их собственные проекты.
Народ, блокируйте ушлепков:
IP SELECTEL
82.202.198.186
82.202.207.37
82.202.207.38
82.202.207.42
Deny from 82.202.198.0/23
Deny from 82.202.200.0/21
