Как избавиться от дублирования контента?

E
На сайте с 03.06.2011
Offline
37
377

Есть сайт на WP - site.ru.

Непосредственно блог находится по адресу http://site.ru/novosti

Есть категория новостей - news. И от сюда вытекает, что по адресам

http://site.ru/category/news

http://site.ru/novosti

имеем одинаковый контент - тобишь дубль. Сюда можно добавить еще и http://site.ru/author/admin - страницу автора и там примерно то же самое, что и по 2 ссылкам выше. Думаю, что это не есть гуд, от сюда вопрос - как с этим бороться? У меня такой вариант - добавить в robots.txt строчки:

Disallow: /category

Disallow: /category/*

Disallow: /author

Disallow: /author/*

Какие у кого мысли по этому поводу?

PS ссылку на страницу http://site.ru/author/admin закрыл тегами noindex и nofollow

DPS1985
На сайте с 01.11.2008
Offline
181
#1

А эти строки зачем?

Disallow: /category/*

Disallow: /author/*

E
На сайте с 03.06.2011
Offline
37
#2

Как я понимаю, строчка Disallow: /category закроет от индексации http://site.ru/category, а строчка Disallow: /category/* - http://site.ru/category/news и тд

P
На сайте с 06.01.2009
Offline
601
#3

нет, строчка Disallow: /category закроет от индексации все что содержит /category

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий