Drey, поведение робота зависит не от даты, которую выдает скрипт в заголовке Last-Modified, а от правильной обработки скриптом/сервером даты If-Modified-Since в заголовке запроса, попробуйте воспользоваться поиском по форуму, тут эта тема неоднократно обсуждалась + приводились примеры решения на PHP.
По пустой строке определяются границы записи, в каждой из которых может быть одна или несколько строк User-agent и одна или несколько строк Disallow.
Таким образом Ваше "удобство" нарушало стандарт, а Яндекс тут был прав, поскольку игнорировал неправильные записи, в Вашем случае все, кроме первой.
Если раздел сайта прописан в yaca, то тИЦ для него показывается отдельно, насколько я помню.
А тем же движком нельзя сгенерить robots.txt автоматом, чтобы руками не писать?
Можно еще с помощью mod_rewrite выдавать код, отличный от 200, на все такие страницы.
Участие подтверждаю, хотя могу опоздать.
Oho, вопрос неоднократно поднимался на форуме, давались рецепты и технической оптимизации, и организационной.
Воспользуйтесь поиском по форуму.
Если проблема только в Яндексе, то попробуйте написать так:
User-agent: Yandex
Disallow: /*/www.сайт.ru
А потом удалить страницы с помощью формы. Если не сложно, сообщите результаты здесь или в личке.
Присоединюсь к общему хору.
С Днем Рождения, Дмитрий!
Всего наилучшего!
Accept-Language как раз и есть заявление браузера серверу о том, какой язык ему выдавать. Если бы именно этот заголовок использовался в вашем случае, то Яндекс получал бы русскую версию, а Рамблер и Апорт -- английскую. Т.е. использовался какой-то другой метод.
Да пожалуйста!
Host: ввв.сайт.ру
Только прежде чем вопросы такие задавать -- RTM
