Kost: 1) Директиву Host придумали с участием этого форума и сотрудников Яндекса. Ссылка на обсуждение давалась много раз. Мануал, увы, только тут.
2) При решении проблемы с зеркалами мне лично подтвердили в поддержке Рамблера, что эту директиву Рамблер не понимает.
Достаточно?
При указании
User-agent: *
будет работать только для Яндекса, т.к. блок с непонятной директивой остальные должны вообще игнорировать.
Но подсовывать нарушающие стандарт блоки всем роботам считаю некорректным. Поэтому, на мой взгляд, должно быть два блока: один - для Яндекса и один - для всех остальных (если нет других нюансов).
Моё предыдущее сообщение обращалось не к вам :)
То, что рамблер не понимает я с вами полностью согласен.
Из Гугля.
С остальными надо ждать, пока их роботы проверять ваш robots.txt.
Для PR тематика не имеет значение.
Главная страница сайта.
Предвидя ещё вопросы, предлагаю прочитать вот это и вот это.
Пробел уберите между строчками.
Disallow: /product.phtml?a=1
1) Директиву Host придумали с участием этого форума и сотрудников Яндекса. Ссылка на обсуждение давалась много раз. Мануал, увы, только тут.
2) При решении проблемы с зеркалами мне лично подтвердили в поддержке Рамблера, что эту директиву Рамблер не понимает.
Достаточно?
При указании
User-agent: *
будет работать только для Яндекса, т.к. блок с непонятной директивой остальные должны вообще игнорировать.
Но подсовывать нарушающие стандарт блоки всем роботам считаю некорректным. Поэтому, на мой взгляд, должно быть два блока: один - для Яндекса и один - для всех остальных (если нет других нюансов).
Моё предыдущее сообщение обращалось не к вам :)
То, что рамблер не понимает я с вами полностью согласен.
Исходя из количества появившихся бэков, прироста PR и тИЦ.
Kost, рамблер знает директиву хост
Будьте добры подтверждение.
Пока я нашёл только обратное : http://www.seoman.ru/FAQ/article023.html
И на http://www.rambler.ru/doc/robots.shtml не упоминается про директиву Host.
Тогда уж и для рамлера
User-agent:Rambler
Правильнее будет так:
User-agent: StackRambler
Чтобы не создавать отдельного, все таки вопрос в тему
-поставил в роботс на сайте http://moneyguard.org
чтобы шло только с www
следущее
И сайт вылетел с 500 ошибкой. Ничего не пойму.
Убрал, все нормально грузится. Что не так сделал ?
Сделайте так
User-agent:Yandex
Disallow:
Host: www.moneyguard.org
User-agent: *
Disallow:
Спасибо большое за ответы.
А сайтик с инфой по теме посоветуете?
http://tutorial.semonitor.ru