1) Директиву Host придумали с участием этого форума и сотрудников Яндекса. Ссылка на обсуждение давалась много раз. Мануал, увы, только тут.
2) При решении проблемы с зеркалами мне лично подтвердили в поддержке Рамблера, что эту директиву Рамблер не понимает.
Достаточно?
При указании
User-agent: *
будет работать только для Яндекса, т.к. блок с непонятной директивой остальные должны вообще игнорировать.
Но подсовывать нарушающие стандарт блоки всем роботам считаю некорректным. Поэтому, на мой взгляд, должно быть два блока: один - для Яндекса и один - для всех остальных (если нет других нюансов).
На чужом форуме как минимум необходимо прочитать и выучить правила форума до написания первых сообщений в него.
:)
Это ерунда, Рамблер не знает директивы Host.
а в реферреры заглянуть?
Снандарт HTTP и коды ошибок придумали не от балды.
Сервер и сайт отдает эти коды либо корректно, либо некорректно.
А если ваш сайт не соблюдает стандарты, не удивляйтесь, что появляются проблемы, и это ваши проблемы.
трясите программеров, у вас сайт не выдает ошибку 404, на запрос любой несуществующие страницы выдается код 200 и страница.
Если на каждом сайте уникальный контент, то врядли забанят.
Типа боевика "смертельное убийство" ?
Можно об этом поподробнее, откуда такая информация?
Не очень понятно, для кого сайт. Если при всех этих обстоятельствах он для людей, то все нормально, а если страницы притянуты за уши к списку запросов, то могут быть проблемы.
