Форум Сайтостроение Веб-строительство

Правильно ли составлен robots.txt?

S_A_N_T_A
На сайте с 23.11.2009
Offline
154
S_A_N_T_A
404

Всем привет. Подскажите правильно ли составлен мой robots.txt для joomla 1.6

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Sitemap: http://site.ru/sitemap.xml

Allow: /

Crawl-delay: 10

Host: _site.ru

Limonadio
На сайте с 19.10.2010
Offline
140
Limonadio
#1

Сделайте еще и отдельно для Яндекса - User-agent: Yandex, там и пропишите Host.

И если у будут уникальные картинки с описанием, я бы не прописывал эту строку - Disallow: /images/

afonsky
На сайте с 07.01.2007
Offline
123
afonsky
#2

а зачем Allow: / если это и так понятно? :)

Лучший Абузоустойчивый хостинг (https://cp.inferno.name/aff.php?aff=986)
S_A_N_T_A
На сайте с 23.11.2009
Offline
154
S_A_N_T_A
#3
Limonadio:
Сделайте еще и отдельно для Яндекса - User-agent: Yandex, там и пропишите Host.
И если у будут уникальные картинки с описанием, я бы не прописывал эту строку - Disallow: /images/

Спасибо, учту

afonsky:
а зачем Allow: / если это и так понятно?

А это я сделал чтобы разрешить всё остальное.

Или это не правильно?

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#4
S_A_N_T_A:
А это я сделал чтобы разрешить всё остальное.

Остальное разрешено и без этого.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий