Как закрыть страницы разделов в роботс

felis_serval
На сайте с 01.07.2011
Offline
17
435

Нужно закрыть в роботс страницы разделов, не закрывая от индексации сами статьи разделов.

Использована директива Disallow: /articles/?p=$ , однако в выдаче весь ТОП 3 в Яндексе забит страницей статьи, анонсом в категории раздела и анонсом в самом разделе.

При поиске с атрибутом "!запрещенный урл сайта" его в Яндексе нет, между тем в выдаче на запрос на этот запрещенный урл и кидает. Как так? И как от этого избавиться?

felis_serval
На сайте с 01.07.2011
Offline
17
#1

В общем, эта директива какая-то кривая.

Disallow: /articles/=$ разрешено к индексации

Disallow: /articles/?p=$ запрещено к индексации

В выдаче мы получаем, что первая страница раздела и подраздела благополучно индексируются, последующие нет. Возможно, это сделано намерено, чтобы боты могли индексировать новые статьи. Для меня это не хорошо.

Мануалов покурить как запретить всё полностью я найти не могу. Скиньте если у кого есть.

---------- Добавлено 16.05.2012 в 23:44 ----------

______________________

ну и душно же здесь...

забыла свой пароль.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий