"По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'"
так что
Disallow: /reading.php
=
Disallow: /reading.php*
а вот
Disallow: /404.html
не запрещает 404.htm
гугл видимо в принципе не смотрит в роботс, на моем сайте каким-то образом индексирует результаты поиска, и постоянно добавляет их в запрещенные страницы в Инструментах вебмастера.
Мэт Катц клянется в роликах, что метатег должен помочь)
Хотим добавить много новых, более узкоспециализированных разделов, а к ним нужно описание - вот и вопрос, насколько плохо, когда ссылка в одном месте, а текстовое описание в другом.
вы точно уверены, что это действует на указанный документ?
например, инструкция
Disallow: /reading/
запрещает все адрес site.ru/reading/какие-угодно-страницы.html
а вот в одном корневом уровне, адреса
/reading.php и reading.php?чего-нибудьтам-еще теоретически могут вести на разные веб документы.
http://help.yandex.ru/webmaster/?id=996567#996572
написано что так, да и ручная проверка страниц в Инструментах вебмастера гугла и яндекса это подтверждает
это уже какое-то противоречие - гугл видит страницы, заблокированные роботсом, но не видит метатег ноиндекс на них?
пропишите так:
"По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'"
так что
Disallow: /reading.php
=
Disallow: /reading.php*
а вот
Disallow: /404.html
не запрещает 404.htm
гугл видимо в принципе не смотрит в роботс, на моем сайте каким-то образом индексирует результаты поиска, и постоянно добавляет их в запрещенные страницы в Инструментах вебмастера.
Мэт Катц клянется в роликах, что метатег должен помочь)
Хотим добавить много новых, более узкоспециализированных разделов, а к ним нужно описание - вот и вопрос, насколько плохо, когда ссылка в одном месте, а текстовое описание в другом.
А насколько это критично?