Все вопросы по robots.txt

Не индексировать все папки, которые заканчиваются на cs/

Спасибо, но по сути Disallow: /*cs/ равноценно Disallow: /cs/ ?

Или в первом варианте будут не индексироваться все папки /cs/ на сайте, а во втором только главная /cs?

В вашем да.

Как это понимать?)))

* - это любая строка символов или ее отсутствие https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#asterisk-dollar

Так что Disallow: /*cs/ должно закрывать и папку /cs/ и папку /123cs/

Там чешская локализация магазина, и она не индексируется, но програмисты что то твердят что эта строка нужна им, как я понимаю что то с безопасностью связано.

Вот собственно весь роботс кому интересно, мож кто что скажет интересное еще, буду признателен)) >>> [ATTACH]160213[/ATTACH]

Мне он как то не нравится..

LanseRev0, Возможно вам нужно использовать директиву Allow для папки /cs/

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt?hl=ru#allow

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#allow-disallow

но как она будет работать с вашим Disallow: /*cs/ это нужно проверять

Нужно ли закрывать от индексации страницы с формой ответов на форуме?

Форум Кунена

Disallow: /*reply*

и прописывать следующее:

Disallow: /*limitstart=0

Скажите, я правильно понимаю, что вот такой robots.txt

User-Agent: *
Allow: /learn/prestuplenie-protiv-sobstvennoy-zhizni/
Allow: /learn/5-prichin-pochemu-ty-ne-otlichnik/
Disallow: /
Host: www.домен.ru

запретит индексировать весь сайт, но даст проиндексировать две страницы:

www.домен.ru/learn/prestuplenie-protiv-sobstvennoy-zhizni/ и

www.домен.ru/learn/5-prichin-pochemu-ty-ne-otlichnik/

????

Или так делать нельзя - закрыть от индексации ВЕСЬ сайт и инструкциями allow открывать только некоторые страницы?

Заранее спасибо за ответы.

Инструмент в Я.Вебмастер и Google Search Console проверки robots.txt дает возможность проверить ваш роботс, введя интересующий урл сайта, попробуйте, уж они точно не обманят.