HTTP 404 - Файл не найден

если страница, отдаваемая роботу, будет отличаться от страницы, выдаваемой обычному браузеру, то это может быть расценено, как обман поисковой машины и повлечь наказание...

Да, но только при условии, что эта страница будет доступна для индексации и содержаться в базе поисковой машины. Если же роботу выдавать 404, а обычному браузеру 200, то страницы в базе поисковика не будет, и поисковику должно быть по барабану всё, что касается этой страницы. Он ее просто не будет знать. Так что, никакого обмана поисковой машины в этом случае не будет.

Более того, это практически единственный нормальный способ почистить БД поисковика от ненужных адресов.

Хотя от себя рекомендую не 404-й код, а редирект (код 301) на адрес с идентичным содержимым.

LiM, из собственного опыта не подскажете, как поисковики обрабатывают 301?

У меня, например, документы, которые выдавали 301 стабильно опрашивались поисковиками в течении полугода, после чего я стал выдавать 404, некоторые (Inktomi, Google, etc) до сих пор в эти URLы ломятся.

По поводу правильности принятого решения ситуация более-менее понятна, но все же как правильно выдавать 404 ошибку?

header("HTTP/1.1 404 Not Found");

Спасибо за помощь.

Вроде все получилось, хотя, в прочем, время покажет.

Cherny, из моего опыта перевода нескольких крупных разделов сайта на отдельные домены получается, что при встрече такого адреса робот про него забывает и заносит в очередь на индексацию новый адрес, который был ему сказан. Страница по старому адресу из индекса пропадает максимально быстро.

Возврат же на старые адреса возможен, если робот где-либо встретить ссылку на этот адрес - адрес теперь будет для робота новым и он пойдет посмотреть, чего там есть...

LiM, спасибо за информацию. Буду продолжать наблюдать за поведением роботов.