Все вопросы по robots.txt

Обнаружил у себя в robots.txt вот такую надпись, с которой раньше не сталкивался (выделено жирным) -

User-agent: *

Crawl-delay: 10

# Directories

Disallow: /info/includes/

Disallow: /info/misc/

Disallow: /info/modules/

Гугл че то ругается на нее - http://joxi.ru/82Q5xLNH1jZnj2 . Возможно поставил один их ранее нанятых вебмастеров.

Вопрос: Зачем нужна эта надпись и нужна ли вообще?

Директива Crawl-delay

Если сервер сильно нагружен и не успевает отрабатывать запросы на загрузку, воспользуйтесь директивой Crawl-delay. Она позволяет задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.

В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Crawl-delay необходимо добавить в группу, которая начинается с записи User-Agent, непосредственно после директив Disallow и Allow).

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но позволяет ускорить обход сайта.

Ага, спасибо.

Значит у меня она неправильно стоит(

Щас переделаю.

Яндекс Вебмастер ругается на строку в robots.tx: Обнаружена неизвестная директива

Содержимое robots.txt:

User-agent: *

Аllow: /images

Disallow: /administrator/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /index.php?

Disallow: /index.php?/

Disallow: /*search

Disallow: /*cart

Disallow: /*category

User-agent: Yandex

Аllow: /images

Disallow: /administrator/

Disallow: /bin/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /layouts/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /tmp/

Disallow: /index.php?

Disallow: /index.php?/

Disallow: /shop/user/login

Disallow: /*search

Disallow: /*cart

Disallow: /*category

Host: сайт.ru

Киррилических символов не присутствует случаем?

(Нафиг 2 раза дублировать записи? Объяснит кто нибудь? Если другой поисковик найдет запись, которая ему непонятна, он проигнорирует ее просто.)

буква не русская, перенабирал

---------- Добавлено 21.12.2015 в 15:50 ----------

(Нафиг 2 раза дублировать записи? Объяснит кто нибудь? Если другие поисковик найдет запись, которая ему не понятна, он проигнорирует ее просто.)

>все классически: взято у конкурентов

Если скопировать в яндекс:

Добавлены результаты по запросу «Allow: /images». Искать только «Аllow: /images».

Значит все же что-то не так с символами

перепечатал руками строки на которые ругается яндекс и о чудо никакой ошибки.

Вывод. Присутствуют кириллические символы.

Буква А, если конкретно (Allow).

re_Inferno, rsergf, awasome, спасибо, перенабрал руками всю строку - ошибка исчезла!