1) Директиву Host придумали с участием этого форума и сотрудников Яндекса. Ссылка на обсуждение давалась много раз. Мануал, увы, только тут.
2) При решении проблемы с зеркалами мне лично подтвердили в поддержке Рамблера, что эту директиву Рамблер не понимает.
Достаточно?
При указании
User-agent: *
будет работать только для Яндекса, т.к. блок с непонятной директивой остальные должны вообще игнорировать.
Но подсовывать нарушающие стандарт блоки всем роботам считаю некорректным. Поэтому, на мой взгляд, должно быть два блока: один - для Яндекса и один - для всех остальных (если нет других нюансов).
Не очень понятно, для кого сайт. Если при всех этих обстоятельствах он для людей, то все нормально, а если страницы притянуты за уши к списку запросов, то могут быть проблемы.
Будьте добры подтверждение
1) Директиву Host придумали с участием этого форума и сотрудников Яндекса. Ссылка на обсуждение давалась много раз. Мануал, увы, только тут.
2) При решении проблемы с зеркалами мне лично подтвердили в поддержке Рамблера, что эту директиву Рамблер не понимает.
Достаточно?
При указании
User-agent: *
будет работать только для Яндекса, т.к. блок с непонятной директивой остальные должны вообще игнорировать.
Но подсовывать нарушающие стандарт блоки всем роботам считаю некорректным. Поэтому, на мой взгляд, должно быть два блока: один - для Яндекса и один - для всех остальных (если нет других нюансов).
Как стать модератором
На чужом форуме как минимум необходимо прочитать и выучить правила форума до написания первых сообщений в него.
а то за любое сообщение без комментариев понижают репу.
:)
Тогда уж и для рамлера
User-agent:Rambler
Disallow:
Host: www.moneyguard.org
Это ерунда, Рамблер не знает директивы Host.
но траф с яндекса идет
а в реферреры заглянуть?
разве плохо, что пользователь остается на глав
Снандарт HTTP и коды ошибок придумали не от балды.
Сервер и сайт отдает эти коды либо корректно, либо некорректно.
А если ваш сайт не соблюдает стандарты, не удивляйтесь, что появляются проблемы, и это ваши проблемы.
почему такое получается
трясите программеров, у вас сайт не выдает ошибку 404, на запрос любой несуществующие страницы выдается код 200 и страница.
Если на каждом сайте уникальный контент, то врядли забанят.
Будет просто "жосско". Без признаков содержания
Типа боевика "смертельное убийство" ?
Известно что индексируются страницы глубиной до 3 переходов
Можно об этом поподробнее, откуда такая информация?
Не очень понятно, для кого сайт. Если при всех этих обстоятельствах он для людей, то все нормально, а если страницы притянуты за уши к списку запросов, то могут быть проблемы.