Новые правила обработки директив Allow и Disallow в файлах robots.txt

Письмо в таком же жутком виде пришло на Gmail, а в почте Rambler нормально отображается. Я тоже была в легком замешательстве.

Позорище, блин.

Добавлю, что мне письмо такое пришло на Яндекс.Почту :)

И мне...что-то я и не совсем понял что они там поменяли.

Бедные дети и так не могут полтора правила составления роботс понять и запомнить, а тут еще какие-то изменения

Наверное не стоит обращать на это внимания особого. Любое изменение вашего роботса негативно сказывается на индексации страниц (первое время), не только яндекс, но и гугл.

Вопрос по теме. Есть новостной раздел на сайте, если заходишь в раздел, то по умолчанию все новости выдаются скопом, пейджер на много страниц... Урлы выглядят так: корень - /news/, далее /news/Page01/, .../Page02/, ну и т.д....

Урлы конечных новостей выглядят так: /news/2011/03/22/news_id/

Параллельно есть рубрикатор новостей по годам/месяцам.

Урлы помесячно (март) так: /news/2011/03/

За 2011 год соотв: /news/2011/

Хочу выкинуть из индекса страницы годовые и помесячные (дублей много), но если их неловко резануть, то уйдут сами новости (урлы вложены).

В текущих реалия сработает ли такая конструкция (пример для новостей 2011 года)?

Disallow: /news/2011/* #рубит и новости за год и новости помесячно

allow: /news/2011/*/*/ #вроде бы разрешает страницы самих новостей

Сработает.

Для проверки сработает/не сработает, есть очень полезный инструмент - http://webmaster.yandex.ru/robots.xml