Верно ли составлен robots.txt

12
Drayvs
На сайте с 12.11.2009
Offline
120
753

Думаю вопрос элементарен для старожил нашего форума, а то я устал бороздить просторы интернета в поисках ответа, везде написано одно и тоже, а не то что мне надо.

Допустимо ли написание инструкций роботу в таком виде:

User-agent: *

Disallow: /forum/viewforum.php

Disallow: /forum/viewonline.php

Disallow: /forum/viewtopic.php

Disallow: /forum/memberlist.php

Disallow: /forum/faq.php

Disallow: /forum/adm/

Disallow: /forum/mcp.php

Disallow: /forum/ucp.php

Disallow: /forum/search.php

Disallow: /forum/cache/

Disallow: /forum/download/

Disallow: /forum/files/

Disallow: /forum/images/

Disallow: /forum/includes/

Disallow: /forum/store/

Disallow: /forum/styles/

Host: www.site.ru

Sitemap: http://www.site.ru/sitemap.xml

For the Dream I live..!
kbv79
На сайте с 24.03.2007
Offline
167
#1

Да, а что вас смущает?

Можно через Я.В проверять: http://webmaster.yandex.ru/robots.xml

Drayvs
На сайте с 12.11.2009
Offline
120
#2

Я проверял, он там ничерта не пишет о ошибке, но почему-то каждую строчку выделяет.

А смущает меня, то что и запрет на индекс, и хост, и карта сайта, все указано одним куском.

kbv79
На сайте с 24.03.2007
Offline
167
#3

Все и должно быть одним куском и в таком порядке.

Выделяет - в смысле подчеркивает в FireFoxе? Может это просто проверка орфографии?

muratti
На сайте с 31.05.2008
Offline
238
#4
Drayvs:
А смущает меня, то что и запрет на индекс, и хост, и карта сайта, все указано одним куском.

Все верно указано. Можно сделать отдельные блоки для Яндекса и других ПС, на случай, когда бот другой ПС придет и посчитает блок с нарушением стандартов и проигнорирует его, и то, что закрыто от индексации попадет в индекс этой ПС.

Drayvs
На сайте с 12.11.2009
Offline
120
#5

Он пишет следующее:

Строка:

1-11

User-agent: *

Disallow: /forum/viewforum.php

...

Sitemap: http://www.site.ru/sitemap.xml

И ничего не выделено и не сказано, если роботс без ошибок, так бы и сказал, а так какое-то непонятное молчание и упоминание всего содержимого роботса.

muratti
На сайте с 31.05.2008
Offline
238
#6

Drayvs, сказали же, что верно и как можно сделать.

kbv79
На сайте с 24.03.2007
Offline
167
#7

Наличие карты и, тем более, наличие в ней ошибок, анализатор не проверяет.

muratti
На сайте с 31.05.2008
Offline
238
#8

Drayvs, у вас вопросы по роботсу или по кривой карте? Определитесь.

kadaber-baber
На сайте с 23.03.2009
Offline
64
#9
Drayvs:
И ничего не выделено и не сказано, если карта без ошибок, так бы и сказал, а так какое-то непонятное молчание и упоминание всей карты...

там внизу после формы есть надпись "Список URL"

добавьте туда урлы, которые запрещаете к индексации и узнаете, будет ли яндекс их индексировать с вашим robots или нет :)

а так - составлено всё верно. можете тут перепроверить все директивы

Drayvs
На сайте с 12.11.2009
Offline
120
#10

Пардон, это была опечатка)

Ну раз все верно, то нормально. А то я где-то мельком увидел, что желательно разные блоки создавать для хоста и карты в роботсе и начал паниковать...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий