вопрос по robots.txt

domen.ru/images/тратата_тратата.джипег

domen.ru/administrator/шел-заливать-вот-сюда/

Вот так показывает или просто

www.domen.ru/images/

www.domen.ru/administrator/

?

показывает просто

www.domen.ru/images/

www.domen.ru/administrator/

я кажется нашел ошибку

у меня после этого списка шло мое дополнение через строку

.....

Disallow: /xmlrpc/

Host: www.domen.ru

Crawl-delay: 10

User-agent: Yandex

Allow: /

Sitemap: http://www.domen.ru/component/option,com_xmap/lang,ru/sitemap,1/view,xml/

но яндекс при проверке robots.txt ошибок не показывал, а при вводе адреса domen.ru/images/ показывал что этот каталог разрешен для индексации. Убрал лишние и пустые строки, т.е.

Disallow: /xmlrpc/

Host: www.domen.ru

Crawl-delay: 10

Sitemap: http://www.domen.ru/component/option,com_xmap/lang,ru/sitemap,1/view,xml/

и при следующей проверке яндекс сказал что страница domen.ru/images/ запрещена правилом

я правильно сделал?

У Вас в браузере в адресной строке автоматически стоит поиск Яндекса?

причем тут браузер?

User-agent: Yandex

Allow: /

ТС, этим правилом вы разрешили яндексу всё индексировать, при указании user-agent'а (в данном случае для яндекса) он является приоритетом.

Правильней будет так:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Crawl-delay:
Host:
Sitemap:

и так:

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Crawl-delay:
Host:
Sitemap:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap:

При чём sitemap и host(если зеркал нет) не обязательны они в панелях веб-мастера указываются, в вашем случае первый вариант предподчительней, т.к. правила одинаковые кроме сrawl-delay и host (google на них пофиг, но это не значит что ошибка).

+ Disallow: /administrator/ - такие вещи не стоит выкладывать в robots, т.к. он общедоступен, админку лучше переименовать.

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

https://support.google.com/webmasters/answer/156449?hl=ru

P.S. Вы картинки сюда загружаете /images/? При Disallow: /images/ они не будут индексироваться.