Форум Поисковые системы Google

Запрет в robots.txt страниц в конкретной директории

MD
На сайте с 05.01.2006
Offline
218
mad_dk
354

Добрый день

Подскажите как запретить для Google страницы вложенные в конкретную директории, но при этом чтобы сама директория была доступна к индексации.

Пример:

есть раздел /faq/ - и он должен быть доступен к индексации поисковым роботом.

А есть страницы типа /faq/xxxxxxxx/ и /faq/yyyyyyyyy/ (их много) и они уже не должны индексироваться поисковым роботом.

Конструкция типа Disallow: /faq/* к сожалению запрещает и сам раздел /faq/

Буду благодарен за ответы.

sape.ru (http://www.sape.ru/r.67bb5b9d71.php) продажа и покупка ссылок с внутренних страниц сайтов
Matvey_Net
На сайте с 04.09.2007
Offline
115
Matvey_Net
#1

mad_dk, а такая конструкция работает?

Disallow: /faq/*

Allow: /faq/

Или такая:

Disallow: /faq/*

Allow: /faq/$

Станислав Романенко
На сайте с 05.09.2007
Offline
325
Станислав Романенко
#2

mad_dk,

Disallow: /faq/

Allow: /faq/$

Но для гугла лучше через мета-тег - https://support.google.com/webmasters/answer/93710?hl=ru

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
MD
На сайте с 05.01.2006
Offline
218
mad_dk
#3
Ingref:
mad_dk,

Disallow: /faq/
Allow: /faq/$

Но для гугла лучше через мета-тег - https://support.google.com/webmasters/answer/93710?hl=ru

Спасибо, да лучше всего через метатег наверное. Оказывается на другой директории я и сделал через метатег noindex, но не сразу это увидел.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий