Как правильно закрыть рубрики сайта от индексации?

80

Alex Boydakov

10 января 2015, 09:27

637

Disallow: /category/ не закрывает на сайте ни одной рубрики

если написать Disallow: /название рубрики - закрывается не только рубрика, но и все тексты, которые в ней есть...

в параметрах у меня указаны постоянные ссылки вида /%category%/%postname%

помогите, что прописать в роботе, чтобы индексировались статьи из рубрик, а сами рубрики и подрубрики не индексировались

[Удален]

10 января 2015, 09:33

#1

Disallow: /example$ # запрещает '/example',

# но не запрещает '/example.html'

AB

80

Alex Boydakov

10 января 2015, 10:51

#2

Personality_:
Disallow: /example$ # запрещает '/example',
# но не запрещает '/example.html'

так каждую рубрику в робот прописать?

а подрубрики?

KT

20

k_topolyan

10 января 2015, 20:08

#3

Голубая лагуна:
Да. Allow, не?

Если прописать Disallow: /example$, то можно не добавлять allow для подкаталогов, они и так будут разрешены для индексации.

SG

2

SportG

14 января 2015, 08:23

#4

Не разобрался, что б не создавать 2 тему такой вопрос.

Например:

sitename.com/catalog/page/blog/ - существует такой путь к странице (после /blog/ так же идут еще страницы)

И если я возьму и пропишу в роботс:

Disallow:/catalog/page/blog/ - то все страницы которые так начинаются не важно что будет после /blog/, будут закрыты от индексации?

Как правильно закрыть страницы Запрет индексации вложенных страниц Закрытие в Robots.txt