Робот Yandex.Закладки не соблюдает robots.txt !?

Переводчик с русского на феню приврал. Я ничего близкого не говорил и не имел ввиду.

Спасибо за ответ.

Моя проблема решается очень просто. Достаточно запускать робота не автоматически а полуавтоматически - с использованием оператора. Т.е. прилепить к страничке которую вызывает пользователь. В этом случае скрипт уже не попадает под определение.

wawa:

-по сути же вопроса, wolf прав. И совет В.Иванову: Надо все-таки проработать свою позицию более тщательно, возможно, вместе с более "официальными" представителями Яндекса. А то можно далеко зайти.

Например, завтра окажется, что Яндекс нанес кому-то ущерб (например, генерацией пустых заказов). И как будете отплевываться?

Я, честно сказать, не заметил в словах wolf за последние несколько форумов никаких особенных мыслей кроме как необъяснимого желания демонизировать Яндекс.

По вопросам претензий такого типа я являюсь одним из уполномоченных представителей компании. Можете проверить в РАЙПе.

И давайте на этом закончим дискуссию.

С Уважением,

В.Иванов

wawa, не передергивайте.

В упомянутом мною инциденте речь шла не о метапоиске, а больше об анализаторе позиции. И представители Яндекса практически не говорили о перегрузке серверов - основной акцент был сделан на невоспитанности робота и несоблюдении им директив robots.txt.

И как раз в этом контексте скрипт не попадал под процитированное выше определение робота. Так как он запускался не автоматически а оператором.

К сожалению, я не участвовал в том разговоре. Поэтому про акценты ничего Вам не скажу, но предполагаю, что речь шла не про закладки.

А я ссылку дал. И процитировал слова Тейблюма и Сегаловича. В них нет ни слова о метапоиске или закладках - только о нарушении директив, прописанных в robots.txt.

Я думаю, Вы невнимательно читаете все разделы форума. А по поводу моего отношения к Яндексу, то дело не в Яндексе так таковом. Просто, когда встречаешь людей, практикующих двойные стандарты, то становится просто по-человечески неприятно.

Думаю, была попытка сказать про тот механизм, который реализует в IE опцию "Сделать доступной автономно".

Эта штуковина скачивает сайт на несколько ссылок вглубь, идентифицирует себя как "MSIECrawler" внутри обычного User-Agent, первым делом кушает robots.txt и ведет себя (относительно) корректно.

Единственно, я не смог понять как запретить только этому роботу скачивать определнные области сайта - ощущение, что он воспринимает только то, что написано под шапкой "User-Agent: *".