У меня уже сделана похожая программа, если модераторы разрешат то выложу адрес где она на сети с пояснениями.
Насколько я понимаю ничего веселого на Вашем домене не было, кто то его до Вас зарегистрировал и ничего не делал. Зато в стартовой странице Вашего сайта нашлась забавная строка, попробуйте ее снести и потом расскажете о результатах.
<meta name="robots" content="ALL">
Скупой платит дважды, ...
Соглашались бы Вы лучше на предложение от -=Илья=- а то ведь он второй раз может и не предложить, ...
Все развлекаются по своему.
Читайте первоисточники, у каждого из поисковиков на сайте есть документация о их роботе и другая полезная информация для создателей сайтов.
Это зависит от поисковика, общепринятого стандарта по этому поводу я пока не нашел.
Норма это выдавать статус выполнения запроса а что с ним сделает робот или броузер это уже их дело хотя и на это в стандартах есть рекомендации.
Мы выбираем трудный путь,
Опасный как военная тропа,
...
Если выдавать 404 а потом страницу то IE при настройках по умолчанию выдает свою страницу с объяснением а не то что выдал сервер, это можно обойти со стороны сервера для некоторых версий IE но будет ли такой обход работать во всех версиях неизвестно.
