Задача для robots.txt

_
На сайте с 20.10.2006
Offline
197
396

Есть сайт domain.ru Сегодня обнаружил, что в индекс попал дубль главной страницы. На данный момент главная страница сайта доступна по адресам:

domain.ru

domain.ru/index

domain.ru/index/

Также на сайте есть 5 страниц, которые имеют урл вида: domain.ru/index/page-title

Собственно вопрос как составить правильно роботс, чтобы дубли запретить к индексации, а страницы остались.

Остановился на варианте:

User-agent: *

Allow: /index/page-title/

Allow: /index/nexpagetitle/

Disallow: /index*

Правильно ли все обработается? Очередность правил в роботсе строится по первому вхождению или по конечному правилу?

Вечные ссылки на качественных англоязычных площадках. (/ru/forum/883099) Результат гарантирую!
kimberlit
На сайте с 13.03.2007
Offline
370
#1
_aleksey_:
User-agent: *

Allow: /index/page-title/
Allow: /index/nexpagetitle/

Disallow: /index*

Правильно ли все обработается? Очередность правил в роботсе строится по первому вхождению или по конечному правилу?

По первому.

Пустые строки не допускаются.

Звезда в конце не нужна.

K
На сайте с 31.01.2001
Offline
737
#2

1) В блоке не должно быть пустых строк.

2) звездочка на конце нафиг не нужна.

Остальное вроде логично. Опс, опередили. Зато дружно :)

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий