http://help.yandex.ru/webmaster/?id=996567#996572
написано что так, да и ручная проверка страниц в Инструментах вебмастера гугла и яндекса это подтверждает
это уже какое-то противоречие - гугл видит страницы, заблокированные роботсом, но не видит метатег ноиндекс на них?
"По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'"
так что
Disallow: /reading.php
=
Disallow: /reading.php*
а вот
Disallow: /404.html
не запрещает 404.htm
гугл видимо в принципе не смотрит в роботс, на моем сайте каким-то образом индексирует результаты поиска, и постоянно добавляет их в запрещенные страницы в Инструментах вебмастера.
Мэт Катц клянется в роликах, что метатег должен помочь)
Хотим добавить много новых, более узкоспециализированных разделов, а к ним нужно описание - вот и вопрос, насколько плохо, когда ссылка в одном месте, а текстовое описание в другом.
А насколько это критично?
