Лёлик

Лёлик
Рейтинг
54
Регистрация
28.04.2006

Из Гугля.

С остальными надо ждать, пока их роботы проверять ваш robots.txt.

Для PR тематика не имеет значение.

Главная страница сайта.

Предвидя ещё вопросы, предлагаю прочитать вот это и вот это.

Пробел уберите между строчками.

User-agent: *
Disallow: /product.phtml?a=1
Kost:
1) Директиву Host придумали с участием этого форума и сотрудников Яндекса. Ссылка на обсуждение давалась много раз. Мануал, увы, только тут.
2) При решении проблемы с зеркалами мне лично подтвердили в поддержке Рамблера, что эту директиву Рамблер не понимает.
Достаточно?

При указании
User-agent: *
будет работать только для Яндекса, т.к. блок с непонятной директивой остальные должны вообще игнорировать.
Но подсовывать нарушающие стандарт блоки всем роботам считаю некорректным. Поэтому, на мой взгляд, должно быть два блока: один - для Яндекса и один - для всех остальных (если нет других нюансов).

Моё предыдущее сообщение обращалось не к вам :)

То, что рамблер не понимает я с вами полностью согласен.

Исходя из количества появившихся бэков, прироста PR и тИЦ.

ZuS:
Kost, рамблер знает директиву хост

Будьте добры подтверждение.

Пока я нашёл только обратное : http://www.seoman.ru/FAQ/article023.html

И на http://www.rambler.ru/doc/robots.shtml не упоминается про директиву Host.

ZuS:
Тогда уж и для рамлера
User-agent:Rambler

Правильнее будет так:

User-agent: StackRambler

oldvovk:
Чтобы не создавать отдельного, все таки вопрос в тему
-поставил в роботс на сайте http://moneyguard.org
чтобы шло только с www
следущее



И сайт вылетел с 500 ошибкой. Ничего не пойму.
Убрал, все нормально грузится. Что не так сделал ?

Сделайте так

User-agent:Yandex

Disallow:

Host: www.moneyguard.org

User-agent: *

Disallow:

vist_lq:
Спасибо большое за ответы.

А сайтик с инфой по теме посоветуете?

http://tutorial.semonitor.ru

Всего: 488