Спросите у Google запрос ниже и сами убедитесь в том что такие адреса он понимает.
site:searchengines.ru
Стандарт позволяет вообще не обрабатывать If-Modified-Since
Возможно это просто отличительная особенность группы людей то есть жаргон или слэнг. Одно время в Москве продавцы компьютеров IBM AT вместо Ай Би Эм Эй Ти говорили Ай Би Эм Ай Ти при этом зная как говорить правильно что позволяло им быстро узнавать своих. Точно так же моряки говорят компАс, математики говорят комплЕксные числа, таких примеров можно найти очень много.
Вам было бы очень полезно уточнить значение и происхождение слова "лаконично" а то как то забавно выглядит Ваша борьба за чистоту стиля.
В стандарте написано SHOULD то есть 304 выдавать вообще не обязательно и для надежности при запросе HEAD можно всегда выдавать 200 то есть статус нормальное выполнение (или вообще не выдавать статус если Ваш HTTP сервер сам добавляет к выдаче статус нормального выполнения) и опять же только заголовки то есть позволить запросившей программе самой разбираться с заголовками и решать что ей надо от документа. А в ответ на запрос GET всегда можно выдать статус 200 и заголовки а за ними весь документ. В любом случае некоторые заголовки добавит сам HTTP сервер и вообще при любом запросе подходящие по случаю заголовки выдавать всегда желательно в ответ на любой запрос а не ограничиваться только статусом.
Совсем не обязательно как первый так и второй случаи, могут быть еще и прокси всевозможные, и прилады для броузеров, и вообще какая программа запрашивает Ваш документ Вас волновать не должно, внимательно читайте стандарт и делайте то что там написано.
Если у Вас сам броузер запрашивает только HEAD то зачем совать ему еще и сам документ? Делайте то и только то что написано в стандарте и будет Вам счастье.
HEAD может запрашиваться броузером если документ уже есть в кэше но в любом случае согласно стандарту при таком запросе надо выдавать только заголовки.
Если используем CGI (а PHP делает похоже) то переменная окружения REQUEST_METHOD (которая у PHP в стандартном массиве) а если нет то можно самому разбирать запрос или использовать другие способы которые зависят от HTTP сервера и способа выполнения программы пользователя.
Идентификаторы ботов здесь ни при чем.
Согласно HTTP/1.1 стандарту
http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html
запрос GET без условий = отдать весь документ,
запрос HEAD без условий = отдать только заголовки,
и есть дополнительные условия.
www.yandex.ru = доступен
www.ya.ru = висит
А Вы сайт делаете для себя или для пользователей? Если для себя то можно его и в Сеть не заливать а на своей машине оставить.