Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Robots.txt как закрыть путь?

S
На сайте с 10.01.2011
Offline
66
Seojnik
333

Есть не информативные страницы вида:

/catalog/goods/?letter=%D1%80

или

/catalog/persons/?letter=%D1%85&type=2

Необходимо закрыть путь ( ?letter=%D1%85&type=2 )

Какой вариант будет правильный (для обоих ПС)?

Disallow: /catalog/persons/*?

Disallow: /catalog/persons/*?*

Disallow: /catalog/persons/?*

Как можно проверить на валидность robots.txt?

Dwarfik
На сайте с 11.10.2008
Offline
152
Dwarfik
#1

Disallow: /catalog/persons/*? = Disallow: /catalog/persons/*?*

Такой вариант закроет не только /catalog/goods/?letter=%D1%80 и /catalog/persons/?letter=%D1%85&type=2, но и варианты, типа /catalog/goods/one?letter=%D1%80 и /catalog/persons/two.php?letter=%D1%85&type=2

Т.е. уберётся все урлы в каталоге и подкаталогах persons, в которых есть "?"

Disallow: /catalog/persons/?* закроет только урлы в persons, которые начинаются с "?"

Насколько я знаю, правило Disallow: одинаково работает для всех ПС.

Я обычно проверяю через панель ВМ яндекса. Там можно загрузить файл robots.txt и проверить конкретные урлы на доступность.

6 тип эннеаграммы
Как правильно закрыть от Страницы закрыты в robots.txt, Помогите с редиректом .htaccess
Flobus
На сайте с 20.09.2011
Offline
20
Flobus
#2

Что мешает воспользоваться анализом роботса в Я.Вэбмастере?

S
На сайте с 10.01.2011
Offline
66
Seojnik
#3

Dwarfik, спасибо

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий