Все вопросы по robots.txt

Просмотрите какие страницы закрыты - именно те, которые вы хотели закрыть или нет? Закройте только те страницы, которые нужно закрыть.

Дубли страниц в результатах поиска. Тоже использую.

Закрыты все страницы, в адресе которых присутствует знак вопроса. Если нет ЧПУ, то все посты запрещены.

Далеко не всегда это дубли :)

Если не настроены ЧПУ - ТС закрыл весь сайт ))

Вот Вам неплохой пост по теме, почитайте, возможно будет полезен.

Огромное спасибо! Исчерпывающе ответили на мой вопрос. Также благодарю всех тех, кто помог с ответами на мои вопросы.

чтобы закрыть от робота всё с сочетанием "breguet" (в именах файлов и каталогов)

Disallow : /*breguet*

что касается тега <noindex>, то теперь Яндекс понимает его в виде <!--noindex-->...<!--/noindex-->

На сайте есть каталог компаний (в виде общего списка с постраничной навигацией и с разбивкой по алфавиту). Интересует вопрос, как правильно запретить в роботс страницы вида:

http://site.ru/companies?name=А

http://site.ru/companies?name=Б

http://site.ru/companies?name=В и т.д.

т.е. чтобы индексировались только страницы из общего списка (http://site.ru/companies)

Будет ли правильным следующий вариант?

Disallow: *?name=

Заранее благодарен всем, кто откликнется :)

правильно будет

Disallow: *?name=*

а, если нет для индексирования страниц с "?" то можно и

Disallow: *?*

Есть специальная тема про robots

/ru/forum/828288

Все зависит, от того, что конкретно и для Вы хотите закрыть

Я по умолчанию прописываю в robots:

Disallow: /*?*

Потому что ЧПУ.

Если только страницы компаний, и атрибута ?name= больше нигде нет, то все правильно:

Disallow: *?name=

(все что после *?name= по умолчанию не индексируется).