Помогие с robots

Gooman
На сайте с 29.10.2009
Offline
40
3263

Помогите, пожалуйста, с robots.txt. Скажите, правильно ли составлено? Яндекс пишет: "Найдено несколько директив Host". Мне просто сказали, что такой роботс правильный. Скажите, какой действительно будет правильным, пожалуйста.

imposteam.ru/robots.txt

R
На сайте с 03.07.2006
Offline
223
#1

потёр......

Gooman
На сайте с 29.10.2009
Offline
40
#2
rengen:
Для ваших директив необязательно указывать отдельно User-agent: Yandex
Это надо указывать только для директивы Host

Спасибо вам. Я вот не пойму, откуда столько разных специалистов берется. Стояло у меня ранее почти также, как вы написали (если вообще не точно так), а мне сказали сделать для разных user agent два списка отключенных страниц. Якобы так, как вы указали и как у меня стояло, работать для яндекса вообще не будет. 😒

R
На сайте с 03.07.2006
Offline
223
#3

Если сомневаетесь - обратитесь в support@yandex.ru

В течении суток-двух получите точный ответ.

Яндексоиды пишут в своём хелпе. http://help.yandex.ru/webmaster/?id=996567

В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен.

Так что извините, я был не прав в первом посте.

То что у вас сейчас в роботс - правильный вариант.

ПС директиву host из первого списка можно удалить. Тогда пропадёт ошибка "Найдено несколько директив Host" она в любом случае некоректна для других ПС её читает только Яндекс.

S
На сайте с 28.10.2005
Offline
319
#4


User-agent: *
Disallow: /go
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://imposteam.ru/sitemap.xml

User-agent: Yandex
Disallow: /go
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: imposteam.ru

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий