Яндекс не реагирует на robots.txt?

это правильно,

удивительно быстро такую простую тему расписали на 3 страницы когда достаточно было по сути одного поста

bright, Так сами видите сколько споров "правильно" "не правильно"

Я больше запутался чем нашел правильный вариант.

Другой вопрос - при каждом заходе на сайт бот Яндекса просматривает роботс? Я тут с одним клиентом уже весьма долго жду пока же наконец яндекс расклеит 2 адреса... а пока он это не сделает - в общем то время идет впустую. :( Самое забавное, что зеркало, которое Яндекс принял за основное уже давно отсутствует в индексе и соответственно удалено, но при этом склейка с нормальным все равно держится. :)

MaulNet, При каждом должен. Это вообще перый файл который смотрит поисковик.

Ну это на сайте написано про robots.txt. Это не я придумал.

Такой вот минус публичного места обсуждения, где могут писать и те, кто знает, и те, кто не знает, но имеет мнение.

Рекомендую обратиться к первоисточнику: http://www.robotstxt.org/wc/robots.html

Вы ошибаетесь в корне.

1. Инструкции в роботс, это не правила, а рекомендации.

2. Посмотрите логи сервера, и убедитесь, что роботс читается не каждый раз (индексатором)

3. Зеркальщик, ходит очень медленно, поэтому ждать результатов переклейки приходится не один месяц(часто, но бывают исключения)

4. Индексатор, заходя на сайт, за один заход, берет тольок часть информации, поэтому ждать полной замены в индексе приходится очень долго.

Чтобы избежать проблем, нужно сразу все прописывать в роботс, при старте сайта. Потом приходится расплачиваться кучей времени.

Писать надо так:

User-Agent: Yandex

Disallow:

Host: www.site.ru

User-agent: *

Disallow:

Первая запись именно для яндекса, но гугля, к примеру, не понимает директиву Host и игнорирует целиком эту запись. Поэтому, если к примеру у Вас что-то закрыто в, например Disallow: /admin/, то гугля проиндексирует этот закрытый от поисковиков раздел, несмотря на запись, поэтому добавляется вторая запись без Host.

у меня такая директива уже 3 месяца лежит :(