Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по robots.txt

X
На сайте с 19.05.2011
Offline
158
xereden
211

Вопрос такой: как правильно запретить индексацию раздела, но не категорий в нём и как запретить индексацию дублей страниц которые образуются из-за селектора страниц?

Развелось на сайте куча дублей из-за переключателей страниц, надо бы их все из ПС по убирать, только не знаю как это нормально там прописывается.

Вот ссылки http://bazamodov.ru/load/mody/10 - этот раздел надо запретить, но в нём есть категории вроде http://bazamodov.ru/load/mody/mody_dlja_skyrim/11 и их не надо запрещать. А главное избавится от страниц вроде http://bazamodov.ru/load/mody/10-8 и http://bazamodov.ru/stuff/?page2

Это правда очень хороший хостинг ( https://beget.com/p588309 )!
B4
На сайте с 27.04.2012
Offline
94
bulatbulat48
#1

User-agent: *

Disallow: /load/mody/10 (будут запрещены http://bazamodov.ru/load/mody/10 и http://bazamodov.ru/load/mody/10-8)

Disallow: /stuff/? (будет запрещен http://bazamodov.ru/stuff/?page2)

http://bazamodov.ru/load/mody/mody_dlja_skyrim/11 - не будет запрещен, но можно добавить еще:

Allow: /load/mody/mody_dlja_skyrim/11

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий