Все вопросы по robots.txt

Мне нужно все, кроме 4 страниц

/vorota/rulonnye-vorota/

/vorota/raspashnye-vorota/

/vorota/otkatnye-vorota/

/vorota/podemno-sektsionnye-vorota/

Здравствуйте, форумчане.

Я совсем запутался читая мануалы Яндекса и Google о том, как правильно составить свой robots.txt

Меня интересует не совсем стандартный вопрос, с основами robots все ясно, а вот как быть если:

1. Я хочу заблокировать раздел http://vorota-style.ru/vorota/ и все что заканчивается после /vorota/ЛЮБОЙ РАЗДЕЛ/, например, /vorota/ЛЮБОЙ РАЗДЕЛ/dd.

2. Но при этом мне нужны все разделы (выдели жирным) /vorota/ЛЮБОЙ РАЗДЕЛ/

Подскажите как быть, очень нужна ваша помощь, а то Яша иногда индексирует такие страницы, как, например, /vorota/ЛЮБОЙ РАЗДЕЛ/dd, причем она идентична http://vorota-style.ru/vorota/

так будет запрещена к индексации директория dd

Disallow: /vorota/ЛЮБОЙ РАЗДЕЛ/*dd*

но если у вас директория кирилическая, то есть ЛЮБОЙ РАЗДЕЛ, да и ещё пробел

между словами, то это приведёт к синтаксической ошибке.

ну, а если ЛЮБОЙ РАЗДЕЛ не брать во внимание, то на примере, что бы закрыть

директорию dd будет так:

Disallow: /vorota/*dd*

кроме disallow есть директива allow, вот и используйте её для нужных 4-х страниц.

Disallow: /vorota/

allow: /vorota/*

Disallow: /vorota/*/*

проверяйте должно сработать

Мне как раз нужно, чтобы сама главная страницы категории индексировалась, а товары нет.

В категории, более 1000 товаров, поэтому прописывать каждую страницу не вариант.

sisers, смотри подсказки гугла и яндекса по robots, там всё внятно рассказано и есть примеры того, что вас интересует :) В частности использование спецсимволов и allow и порядок этого использования.

Спасибо, кэп :).

Ты случаем у Навального советником не работал. А то я смотрю, у тебя очень содержательные ответы ☝.

sisers, пожалуйста, кэп. Исходя из условий в первом твоем посте, первый же ответ (мой) полностью им соответствует.

Если ты по человечески, структурно с примером папки и страницы напишешь, что тебе нужно индексировать, а что - нет - возможно я смогу нормально из вновь открывшихся условий 😂 дать тебе пример. Кэп.

Что-то подобное уже было... Не очень хочется рисковать выпадом из индексации, оставлю пока как есть. Просто проблема в том, что бы вы не написали вроде dd или dde, все равно откроется одна и таже страница, надо чтобы Яндекс и Google не индексировали их.