Robots.txt | Bitrix

M3
На сайте с 11.02.2013
Offline
44
773

Есть старница site.ru/poleznoe/

как правильно ее закрыть в роботсе полностью, и все статьи внутри нее такого вида

site/poleznoe/uvelichenie-myshechnoy-massy/

Disallow: /poleznoe/

так?

SM
На сайте с 02.07.2007
Offline
131
#1

подтвердите права в яндекс вебмастере и там проверяйте по иструменту проверки robots любые вариации

а по вопросу да, но лучше

Disallow: /poleznoe/*

найди путь для использования мира под свои нужды продается завод пищевой промышленности в Свердловской области!
M3
На сайте с 11.02.2013
Offline
44
#2
sasha_mtrx:
подтвердите права в яндекс вебмастере и там проверяйте по иструменту проверки robots любые вариации

а по вопросу да, но лучше

Disallow: /poleznoe/*

поставил Disallow: /poleznoe/* и прогнал проверку

URL Результат

http://site.ru/poleznoe/uvelichenie-myshechnoy-massy/ запрещен правилом /poleznoe/

Спасибо! Очень удобно

Max_1
На сайте с 02.08.2012
Offline
45
#3
Disallow: /poleznoe/
так?

Да, так можно.

Наполнение сайта (http://tino.ru/itm/1389070) / Управление ключевыми словами (http://tino.ru/itm/1733431) / Биржа труда (http://kwork.ru/?ref=9975)
O
На сайте с 30.08.2011
Offline
20
#4

Закрывать надо «Disallow: /poleznoe», без слеша на конце и звёздочки.

Если закрыть, как говорит sasha_mtrx, то будет доступна для индексации страница site.ru/poleznoe.

M3
На сайте с 11.02.2013
Offline
44
#5

уже сомневаюсь)

но вебмастер с правилом

Disallow: /poleznoe/*

пишет

http://site.ru/poleznoe/ запрещен правилом /poleznoe/

O
На сайте с 30.08.2011
Offline
20
#6
Mal3Tula:
уже сомневаюсь)

но вебмастер с правилом
Disallow: /poleznoe/*
пишет
http://site.ru/poleznoe/ запрещен правилом /poleznoe/

Ну так это со слешем на конце. А без слеша — страница доступна к индексации :)

M3
На сайте с 11.02.2013
Offline
44
#7
ohhgod:
Ну так это со слешем на конце. А без слеша — страница доступна к индексации :)

Я наверное недопонимаю, у меня страница открывается только со слешем

SM
На сайте с 02.07.2007
Offline
131
#8
Mal3Tula:
уже сомневаюсь)

но вебмастер с правилом
Disallow: /poleznoe/*
пишет
http://site.ru/poleznoe/ запрещен правилом /poleznoe/

чтобы и без слеша запрещена была поставьте 301 с без слеша на слеш всем страницам - и дублей не будет!

Я наверное недопонимаю, у меня страница открывается только со слешем

я как раз выше об этом сказал )

M3
На сайте с 11.02.2013
Offline
44
#9
sasha_mtrx:
чтобы и без слеша запрещена была поставьте 301 с без слеша на слеш всем страницам - и дублей не будет!

Но битрикс автоматом делает редирект с без слеша на слеш

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий