Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Еще вопрос про robots.txt

rishat95
На сайте с 01.01.2013
Offline
45
rishat95
1099

Здравствуйте, если у меня вот такой роботс (ДЛЯ ВСЕХ РОБОТОВ И ЯД И GOOGLE), раздел КАТЕГОРИИ на вордпресс я закрыл отдельно тегом <meta name="robots" content="noindex,follow,noodp,noydir" />

ВОПРОС: Лучше добавить Disallow: /category/ в роботс или оставить мета тегом? И если добавлять в роботс то как прописать, чтобы ЗАПРЕТИТЬ ИНДЕКСИРОВАТЬ саму страницу категорий, НО не закрыть статьи в категориях?

User-agent: *

Disallow: /wp-admin/

Disallow: /tag/

Disallow: /author/

Disallow: /page/

Allow: /wp-admin/admin-ajax.php

Sitemap: http://sportsmen-info.ru/sitemap.xml

Svictor
На сайте с 16.01.2007
Offline
99
Svictor
#1

Так

Disallow: /category/

заблокируете все страницы категории

А так

Disallow: /category/$

только одну страницу

Пруф

А в целом использование

<meta name="robots" content="noindex,follow,noodp,noydir" />

тоже эффективно в данном решений для закрытия к индексации.

Почему запрещают индексировать страницы? Проблема с индексацией noindex и счетчики

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий