Как правильно запретить индексацию ненужных страниц

Я когда столкнулся с такой проблемой, сделал проще, добавил в robots:

Но у меня чпу, это важно...

Имхо такой вариант порежет кучу нормальных страниц + подразделы разные бывают.

---------- Добавлено 05.04.2012 в 23:26 ----------

Для начала, хочется просто избавиться от всех урлов с "?a=" в адресе. как?

ИМХО забить. Это проблемы ПС, чтобы чистить страницы.

есть атрибут rel="canonical", он решит вашу проблему

это не подойдет для гугла

Каких например?

тогда

или

У меня в свое время начали вылезать в индекс урлы типа mysite.ru/статья?utm_medium и mysite.ru/статья?utm_source и дальше всякое. Конструктивно покопавшись, я понял, что такой хвост цепляет сторонний ресурс, через который идет трансляция в твиттер и мордокнигу. Решение было добавлением в роботс

Clean-param: utm_source *

Clean-param: utm_medium *

Как тут правильно отметили, для гугла эти директивы не катят, но в гугле такие урлы и не вылезали.

У себя я это так заборол.

Всем спасибо, совсем забыл про Disallow, попробую с ним решить. Главное лишнего не запретить -)

Не забывай про мартовское письмище от Яши, там про:

По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается.

За подробностями новшества Яша засылает сюда

Allow не планируется использовать, поэтому надеюсь все будет ;)