Робот Yandex.Закладки не соблюдает robots.txt !?

Суть ответа состоит в том, что этот вид робота с нашей точки зрения не подпадает под понятие автоматический сборщик ссылок.

А кто его таким называет?

Ссылками его снабжают пользователи. Попытка ограничить их в выборе ссылок более чем ограничивает сайт мне видится неестественной.

Побойтесь бога, никто его в этом не ограничивает.

Пусть себе выбирают.

Но вот идти на сайт и проверять ссылку робот должен только в том случае,

если сайт не возражает.

Аппеляция к рекомендации, которая изначально не предназначена для описания ситуации не подходит.

Если вы про www.robotstxt.org, то на нём чётко сказано что считать роботом.

Зачем вы пытаетесь придумать, что рекомендация не предназначена для

данной ситуации?

Робот "Яндекс.Закладки" подпадает под данное выше определение?

Подпадает.

Поясните, что вы продразумевали под тем, что ситуация не подходит?

2og - обрати внимание, что wawa является сотрудником Яндекса и отдувается вместо iseg'a.

IE можно настроить для автоматического оповещения об обновлении ресурсов, размещённых в Favorites, однако считать его роботом как-то никому в голову не приходило. И робот Яндекса в данном конкретном случае можно приравнять к ИЕ - ведь закладки-то тоже хранятся у них на сервере. Далее - очень многие каталоги проверяют живы ли ссылки в автоматическом режиме. И их тоже за роботов никто не принимает - они только проверяют наличие страницы и уходят, а не засасывают всё как пылесос. Тот же каталог Апорта проверяет ссылки, Dmoz опять же. И разместить ссылку в каталоге могут и без согласия владельца ресурса.

И напоследок - следовать или нет правилам robots.txt разработчик скрипта решает сугубо добровольно.

Ха, а ведь любопытная ситуация вырисовывается.

И мне понятны вопросы Славы Тихонова и wolf`а.

Напомню остальным.

Некоторое время назад - если точнее, в сентябре 2001 года, компания Topping открыла сервис проверки позиции сайтов в поисковых системах, а через некоторое время - метапоисковую систему metaping. В число поисковиков, которым передавались запросы от названных систем, входил и Яндекс. Однако в считанные дни доступ к Яндексу с серверов компании Topping был заблокирован средствами вебсервера. После короткого разбирательства (подробнее здесь) Яндекс устами Тейблюма и Сегаловича родил официальную позицию, фрагменты которой я процитирую:

Позиция абсолютно ясная - Яндекс содержимым robots.txt явно запрещает обращение к определенным разделам своего сайта. Не индексацию, а доступ.

Попытки тогда аппелировать к необязательности стандарта поведения роботов успеха не возымели.

Однако сейчас Яндекс явно не проявляет желания поступать с другими так, как он бы хотел, чтобы поступали с ним. Иначе говоря, скрипт, работающий на сервере Яндекса, автоматически, не обращая внимания на содержимое файла robots.txt на сайте, обращается к сайту. И теперь уже Яндекс устами wawa заявляет, что следование стандарту поведения роботов - сугубо добровольное решение владельца робота, что robots.txt запрещает только индексацию документов, в общем, что правила в очередной раз не для Яндекса писаны.

Я прав в оценке ситуации? Или опять начнем рассказывать, что Яндекс - частная компания и никому ничего не обязана?

Форум потихоньку превращается в рупор "униженных и оскорблённых".

Этакий РИКН-2, только в более мягкой форме.

З.Ы: за крамольные мысли сам себя отлучаю от форума сроком на месяц :)

AiK

Да упаси боже. О двойных стандартах здесь говорилось еще год назад.

С другой стороны, никто не возражает против криков "Когда придет Рамблеровский робот?", а вот обсуждать наплевательское отношение Яндекса становится уже дурным тоном - ибо надоело, видимо.

Я тебе отлучусь. Перекличка раз в сутки и попробуй не отзовись.

В словах многих людей можно при желании отыскать массу формальных противоречий. Особенно, если игнорировать суть вопроса. Суть вопроса в описанном случае состоит в том, что метапоиск перенагружает систему, на которой паразитирует и некорректным образом оттягивает рекламодателей. Именно поэтому упомянутый метапоиск был заблокирован.

У меня такое же ощущение.

Попытки поссориться со здравым смыслом становятся утомительными.

С Уважением,

В.Иванов

Сдаюсь. С полгода назад мне тоже не удалось доказать одному бдительному пользователю, что попытки ftp-сервера открыть tcp-сессию в его сторону не являются нарушением его приватности. Он требовал, чтобы мы немедленно прекратили открывать сессии. Я честно потратил на растолковывание кучу времени, но в конце концов пришлось блокировать ему доступ к ftp.

А Вы уверены, коллега, что они не соблюдают robots.txt?

Попытки представителей Яндекса не соглашаться с очевидным и представлять ситуацию в свете "все - в г...., а мы - все в белом", поверьте, становятся не менее утомительными.

Позволю себе отрезюмировать.

Яндекс в лице В.Иванова фактически согласился с тем, что один из его роботов, не является вежливым. Что для компании, претендующей на зкание крупнейшего российского поисковика, не очень красиво, на мой взгляд. Но у Яндекса на этот счет другое мнение - он считает это нормальным. Точка. Каждый сделает свой вывод сам.