Грамотный robots.txt для яндекса

Jaroslav:
всем огромное спасибо за ответы. Вопрос к artemovn,
а вы не подскажите каким образом можно сделать так, чтобы описания категорий отображались при заходе в них? Благодарю.

Trillion400:
друзья! подскажите грамотный роботс под ДЛЕ чтобы закрыть все дубли...

Jaroslav:
Здравствуйте, уважаемые форумчане. У меня есть сайт на wordpress. Создавался он давно и на тот момент мне посоветовали в robots.txt закрыть от индексации категории и теги во избежание дублированного контента на сайте. На тот момент я подумал, что это правильно и сделал так. Но недавно по вордстату пробив ряд запросов, я понял, что можно получать неплохой трафик, открыв для индексации категории и теги и грамотно их оптимизировав. Но получится, что в индекс влетит бОльшее число страничек и соответственно внутри сайта появится дублированный контент. Кто что может посоветовать на данный счет? Благодарю.

estetsseo:
Я один из топика про canonical слышал? Или я чего-то не догоняю?

artemovn:

А что разве страница с категорией это точная копия страницы с материалом? каноникал только для аналогичных страниц с разным адресом.