Если у Вас сам броузер запрашивает только HEAD то зачем совать ему еще и сам документ? Делайте то и только то что написано в стандарте и будет Вам счастье.
HEAD может запрашиваться броузером если документ уже есть в кэше но в любом случае согласно стандарту при таком запросе надо выдавать только заголовки.
Если используем CGI (а PHP делает похоже) то переменная окружения REQUEST_METHOD (которая у PHP в стандартном массиве) а если нет то можно самому разбирать запрос или использовать другие способы которые зависят от HTTP сервера и способа выполнения программы пользователя.
Идентификаторы ботов здесь ни при чем.
Согласно HTTP/1.1 стандарту
http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html
запрос GET без условий = отдать весь документ,
запрос HEAD без условий = отдать только заголовки,
и есть дополнительные условия.
www.yandex.ru = доступен
www.ya.ru = висит
А Вы сайт делаете для себя или для пользователей? Если для себя то можно его и в Сеть не заливать а на своей машине оставить.
По всем языкам надо делать разные сайты на разных доменах а если даже на домены денег нет то про дальнейшее продвижение можно забыть.
Когда BBC молоко холодное давать начнет, ...
А я давно толком не фотографировался, ...
Начальство надо учить и воспитывать, ...