Закрытие в Robots.txt

135

Zorgy13

29 ноября 2011, 13:52

342

Здравствуйте, такой вопрос есть же разница в

Disallow: /catalog

и

Disallow: /catalog/

Яндекс в обоих случаях пишет что страница что содержит /catalog/stranica.html закрыта от индексации.

152

Dwarfik

29 ноября 2011, 14:26

#1

По-умолчанию можно считать, что в конце каждой строки в Robots.txt добавляется символ "*", который означает "любое количество любых символов".

Соответственно, конструкция

Disallow: /catalog

включает в себя и перекрывает

Disallow: /catalog/

и закрывает все вложенные каталоги и файлы, в том числе и

/catalog/stranica.html

6 тип эннеаграммы

Составление файла robots.txt Как правильно искать и Google запускает iPad приложение

135

Zorgy13

29 ноября 2011, 14:36

#2

Как лучше закрыть тогда просто catalog

кроме как сделать пункт меню в java ?

39

kazi_mir

29 ноября 2011, 18:21

#3

Disallow: /catalog$

Подробней можно посмотреть тут - http://help.yandex.ru/webmaster/?id=996567#996572

135

Zorgy13

30 ноября 2011, 12:38

#4

User-agent: Yandex

Disallow: /example # запрещает и '/example',

# и '/example.html'

не работает уже?

Проверил со своим сайтом, внут страницы запрещает.