Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Прошу помощи с robots.txt

L
На сайте с 29.10.2006
Offline
110
Luxer
305

Господа, прошу помощи в составлении правильного robots.

Ситуация не совсем стандартная, но программно закрыть дубли не получается, поэтому остается роботс.

Примеры дублей по парам. Первые (с пометкой +) нужно оставить открытыми, остальные (с пометкой -) запретить к индексации:

+ http://my_domain.ru/page.html

- http://my_domain.ru/page/sort_name/direction_ASC.html

+ http://my_domain.ru/page/offset_16.html

- http://my_domain.ru/page/sort_name/direction_ASC/offset_16.html

+ http://my_domain.ru/page/subpage.html

- http://my_domain.ru/page/subpage/sort_name/direction_ASC.html

- http://my_domain.ru/page/subpage/sort_name/direction_DESC.html

Как видно, есть ряд пересечений, которые нужно учитывать. Ломаю голову :)

SeBlock (/ru/forum/851994) - программа для ведения проектов по НЧ/СЧ. Буду рад отзывам/комментариям.
BG
На сайте с 03.10.2010
Offline
195
BrightGuy
#1

Disallow: /page/subpage/sort_name/*

Disallow: /page/sort_name/*

-= Сайты на заказ | Правки, обновление, работы по DLE =- ( /ru/forum/791118 ) Telegram: @ruslansh ( tg://resolve?domain=ruslansh )
L
На сайте с 29.10.2006
Offline
110
Luxer
#2

Наверное не совсем полностью выразил мысль - page и subpage это шаблоны под которые подпадает кучу реальных страниц (и подстраниц) на сайте. Соответственно, такой "жесткий" вариант указания не подойдет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий