Как закрыть от индексации основную рубрику в Wordpress

A
На сайте с 28.04.2010
Offline
41
1840

Здравствуйте, у меня такой вопрос, как закрыть основную рубрику в Wordpress от индексации. Нужно это, для уменьшения количества дублей.

Например, основная рубрика называется "книги", подрубрики "научная литература" и "детективы". В основной рубрике, отображаются все материалы из подрубрик, и создаются дубли...

- Книги (урл сайт.ру/category/knigi)

- научная литература ( сайт.ру/category/knigi/naych-literatyra/ )

- детективы ( сайт.ру/category/knigi/detektivy/ )

Какой урл, закрывать в robots.txt ?

Размещение вечных ссылок не дорого!! Большое количество сайтов. (/ru/forum/733698)
kbv79
На сайте с 24.03.2007
Offline
167
#1

Возможно вот так:

Allow: category/knigi/

Disallow: category/

Хотя, я не уверен.

Может проще переделать структуру?

V2
На сайте с 16.07.2009
Offline
112
#2

Попробуйте так:

Allow: /category/knigi/naych-literatyra/

Allow: /category/knigi/detektivy/

...

Disallow: /category/knigi/

Подрубрики будут индексироваться, основная рубрика "Книги" - нет.

Если нужно закрыть подрубрики, то просто

Disallow: /category/knigi/naych-literatyra/

В панеле вебмастера можно проверить во вкладке Настройка индексирования - Анализ robots.txt. Вписывайте правила и проверяйте урлы разрешены или нет.

K
На сайте с 31.01.2001
Offline
737
#3
kbv79:
Хотя, я не уверен.

Правильно не уверены. Все урлы на сайте начинаются со слеша. Ваши две директивы

Allow: category/knigi/

Disallow: category/

ничего не разрешают и не запрещают.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
ME
На сайте с 04.04.2011
Offline
13
#4
vital2k:
Попробуйте так:
Allow: /category/knigi/naych-literatyra/
Allow: /category/knigi/detektivy/
...
Disallow: /category/knigi/

Подрубрики будут индексироваться, основная рубрика "Книги" - нет.
Если нужно закрыть подрубрики, то просто
Disallow: /category/knigi/naych-literatyra/

В панеле вебмастера можно проверить во вкладке Настройка индексирования - Анализ robots.txt. Вписывайте правила и проверяйте урлы разрешены или нет.

Подскажите пожалуйста, в какой панеле вебмастера? В админ-панели подобного не нашел. Сделал как вы рекомендовали выше, а согласно Яндексе http://webmaster.yandex.ru/ показывает что запрет на индексацию не работает. Пожалуйста помогите правильно написать запрет тех рубрик, у которых есть дочерние, дабы не создавать дубликат (http://antioxbio.ru/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий