Про индексацию страниц с 404 в http-заголовке

что-то не пойму, как ссылки могут быть битыми, если серверный часть, как я понимаю, никто не удаляет?

ошибка 404 это когда ведь файла на сервере не существует физически, ну или когда вы насильно в заголовок пишите 404.

Damon, что-то не очень понял, что ты хотел сказать.

имхо если только вы специально не выдаете 404, то 404 можно получить при отсутствии исполняемого файла на сервере.

Kastorskiy, я ж написал. Всё остальное - уже повторение вышеизложенного: несуществующих страниц должно быть как можно меньше. Причём не важно, отдаётся ли код 404 или показывается стандартное для всех страниц сообщение об ошибке с кодом 200.

Как выяснилось, я соврал насчёт того, что робот яндекса не приходит на сайт, в анализаторе логов небыл прописан юзерагент яндекса.

Оказывается приходит регулярно и кушает помногу страниц, начиная, как минимум с 20-го октября (на самом деле, думаю, что и раньше, но не сохранилось более старых логов).

Тем не менее, сайт в выдаче яндекса отсутсутствует.

Чем это может обьяснятся?