Настройка robots.txt

12
[Удален]
#11

Какой у Вас движок?

Volnorez
На сайте с 15.02.2013
Offline
65
#12
karina44:
Какой у Вас движок?

Движок insales и доступ несколько ограничен.

---------- Добавлено 16.03.2013 в 23:19 ----------

anbarter:
Disallow: /сайт/collection/ - закроет от индекса все страницы которые содержат в себе collection. К страницам вида http://сайт/product/конкретно-продукт влияние не окажет. Можно проверить через webmaster после добавления правила.
На конце звездочку не обязательно ставить так как она предполагается по умолчанию.

collection закрывать нельзя, там висят категории и подкатегории

типа http://сайт/collection/категория , а там тексты, закрывать никак нельзя.

В общем добавил такую конструкцию в робота, скормил вебмастеру соответствующие ссылки и он их рубит. Но вот беда в индекс уже попали нехорошие урлы и возникает закономерный вопрос, как долго яша будет перелопачивать и выкидывать такие урлы из индекса, ведь я не смогу его удалить через вебмастер так как 404 ответа нет.

anbarter
На сайте с 14.02.2013
Offline
99
#13
реально ссылки вот такие
http://сайт/product/конкретно-продукт

, в этой ссылке не содержится "категория", поэтому это не учитывалось.

Если нужна только эта страница, тогда добавьте правило: allow.

https://semotion.ru - позитивное продвижение сайтов ;)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий