Все вопросы по robots.txt

Webnewby, http://support.yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#allow-disallow читать про allow. Это если надо чтобы рубрика не в индексе, а подрубрики в нем. Если нет - то глупый вопрос.

Знаю, что вопрос глупый, но мне надо быть на 100% уверенным что правильно сделаю, поэтому прошу наглядный пример

Даже по ссылке куча наглядных примеров. Что вы просите - фиг его знает.

Дак просто рубрику закрыть надо, со всеми подрубриками вместе.

disallow: /rubrika/

disallow: rubrika/

disallow: */rubrika/

какой из них верный черт пойми

Все три могут быть верные. Зависит от структуры на сайте. Чего в хелпе то неясно?

Если бы ясно было, я бы не спрашивал наверное...

---------- Добавлено 06.09.2016 в 18:43 ----------

site/category/kalendar/zima - такая структура. Надо весь календарь и все что внутри его закрыть от индексации. Как написать подскажите пожалуйста)

/caterogy/kalandar

или

/*kalendar

- зависит от. Такое ощущение, что читают книгу, а видят фигу((( Написано же так, что и 5классник поймет.

От чего зависит какой вариант из этих двух не понял?

Не, я уже устал что-то обьяснять тому, кто хелп прочитать не в состоянии. Подожди других дураков.

приветствую!

Выставил в роботсе crawl-delay: 0.5

Но бот яндекса бывает делает запросы вдвое чаще и сайт начинает лагать. за 1 секунду 4-5 запросов (смотрю access log).

Файл роботс валидатором проверял, директиву эту видит.

В чем причина такой ситуации?