Закрыть подкаталоги от ПС в robots.

VoV@
На сайте с 22.09.2007
Offline
196
763

Подскажите, коллеги, есть возможность задать правило, чтобы скрыть от ПС подкаталоги с url вида:

http://domain.ru/root/directory/

и оставить только:

http://domain.ru/root/.

Т.е. скрыть всё, что ниже первого уровня вложенности (корневой папки сайта). Подпапки все с разными именами.

Тупой перебор не подойдёт, там их >100.

⭐ Разработка Андроид-приложений (Xamarin C#). ⭐ Разработка ASP.NET (WebForms, MVC, WebAPI, Core). ⭐ Цой жив!
maldivec
На сайте с 04.11.2008
Offline
160
#1

Allow: /root$

Allow: /root/$

Disallow: /root/*$

VoV@
На сайте с 22.09.2007
Offline
196
#2

:), блин, не подумал, что и то что я написал можно понять разными способами.

maldivec, имя папки root в моём случае, тоже может быть разным. Это вообще может быть не папка а файл в корне сайта без расширения в url (типа ЧПУ).

Надо разрешить индексировать всё, что в корне и запретить всё что в поддиректориях.

ЗЫ наверное всё-таки одной инструкцией такое сделать не получится :(.

gormarket
На сайте с 29.12.2010
Offline
47
#3

Disallow: /*/*

Это правило для Яндекса запрещает индексацию всего содержимого любых папок на сайте (за исключением файлов в корне сайта)

Только что проверил в инструментах Яндекса (там есть отличный раздел для решения подобных вопросов "Настройка индексирования - Анализ robots.txt").

Сработает ли для других поисковиков не знаю, не выяснял.

Товары и цены в магазинах Вашего города: Городской рынок (http://gormarket.ru/)
VoV@
На сайте с 22.09.2007
Offline
196
#4

gormarket, спасибо! 🍻

Это очень близко к тому что мне нужно, только Ваша инструкция срабатывает для адресов вида: http://domain.ru/root, а http://domain.ru/root/-запрещён.

Я немного изменил инструкцию: Disallow: /*/*/*

теперь инструмент проверки в ВМ показывает, что http://domain.ru/root/ - разрешён, а http://domain.ru/root/directory/ - запрещён. То что нужно!

Пойду с гуглом разберусь.

ЗЫ для гугла тоже работает!

maldivec
На сайте с 04.11.2008
Offline
160
#5

А http://domain.ru/root/directory (без слеша на конце) ? :)

VoV@
На сайте с 22.09.2007
Offline
196
#6
maldivec:
А http://domain.ru/root/directory (без слеша на конце) ? :)

Так не проверял, у меня таких адресов нет.

kimberlit
На сайте с 13.03.2007
Offline
370
#7
maldivec:
Disallow: /root/*$

Идиотская конструкция. Звезда с баксом ввергли Онотолея в печаль.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий