Непростой вопрос про robots.txt

Kory
На сайте с 27.11.2006
Offline
297
913

Джентльмены, вот такая вам задачка.

представьте есть интернет магазин, на котором большое количество страниц, разделов и самое главное пользовательских фильтров по размерам, характеристикам и так далее. Есть три типа страниц два из которых надо закрыть от индексации, а один оставить.

http://www.site.ru/katalog/tehnika/gazonokosilka/~/cats/brand/bosch/sl_price_from/*/*/ и так далее - закрыть эту и все подобные страницы.

http://www.site.ru/katalog/tehnika/benzopily/~/page/5/ - надо закрыть и все подобные страницы.

http://www.site.ru/katalog/tehnika/lesopily/~/marka/lg/ - не надо закрывать.

Понятно, что можно было бы без проблем закрыть все ненужные адреса по кусочку урла с /~/ но тогда закроются и марки товаров.

Вопрос: что писать в Disallow :confused:

Есть вариант, но пока не проверенный, а хотелось бы услышать мнение людей, которые сталкивались с чем-то подобным.

Собираю статистику по НЧ.
kimberlit
На сайте с 13.03.2007
Offline
370
#1

Disallow: /katalog/*~

Allow: /katalog/*~/marka/

Kory
На сайте с 27.11.2006
Offline
297
#2
kimberlit:
Disallow: /katalog/*~
Allow: /katalog/*~/marka/

точняк? 😕

kimberlit
На сайте с 13.03.2007
Offline
370
#3

А что не так? В чем сомнения?

[Удален]
#4
Kory:
точняк? 😕

Есть супер-инструмент: http://webmaster.yandex.ru/robots.xml

Вводите туда данный вам выше robots.txt, любые урлы, которые хотите проверить, и вуаля :)

Ворожцов Виктор
На сайте с 30.12.2011
Offline
143
#5

Disallow: /katalog/tehnika/benzopily/*/page/5/

Достаточно этого, так как

/katalog/tehnika/lesopily/*/marka/lg/ закрываться не будет. В вебмастере можно проверить.

Как-то работал над более сложной задачей :) После смены числолых урлов их нужно было все в запрет, так как ссылок с ними было уйма, да и для оперативного индексирования.

http://bar-line.ru/robots.txt

AI создает бизнес в РФ с нуля:

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий