В словах многих людей можно при желании отыскать массу формальных противоречий. Особенно, если игнорировать суть вопроса. Суть вопроса в описанном случае состоит в том, что метапоиск перенагружает систему, на которой паразитирует и некорректным образом оттягивает рекламодателей. Именно поэтому упомянутый метапоиск был заблокирован.
У меня такое же ощущение.
Попытки поссориться со здравым смыслом становятся утомительными.
С Уважением,
В.Иванов
Суть ответа состоит в том, что этот вид робота с нашей точки зрения не подпадает под понятие автоматический сборщик ссылок. Ссылками его снабжают пользователи. Попытка ограничить их в выборе ссылок более чем ограничивает сайт мне видится неестественной. Аппеляция к рекомендации, которая изначально не предназначена для описания ситуации не подходит.
Методы борьбы я перечислил.
Угрызений совести по поводу этого HEAD не испытываю. Но коли он вас так сердит, забаньте. Или пожалуйтесь в abuse@yandex и Яндекс может быть разорвет связность с этим хостом, чтобы Вас не смущать :-)
Классификация устройства, на котором бегает граббер не имеет никакого значения. Если кто-то запустит самопальный wget без учета robots.txt никто и не поглядит, что оно бегает под win98. Скорее всего его забанят либо за перегруз сервера, либо за попытку украсть каталог или базу.
Если немножко полистать, там можно найти
фразу, что файл является опцией, которую роботы не обязаны использовать.
Само по себе несоблюдение robots.txt не означает почти ничего. Файл лишь помогает роботу соблюдать приличия на сайте. И нам с Вами обоим, если я не ошибаюсь, не кажется, что Яндекс-Закладки как-то навредил вашему сайту.
А там, где владельцы сайтов против категорически, надо ставить файрвол или пароль. Разумным способом бороться именно с закладками (такие задачи тоже иногда встречаются) является проверка реферера.
Отмечу, что Яндекс-Закладки не собирают информацию. Закладки ставит пользователь. В смысле разглашения, они также ничем не отличаются от банальной ссылки выложенной куда бы то ни было.
Никто из ответивших не ответил. Похоже таки все де-факто согласились, что нельзя адекватным образом модифицировать поведение
фэйворит-чекера согласно дисциплине robots.txt.
Что и требовалось доказать.
Утверждение, что модуль подкачки закладок в IE чем-то отличается от закладок тем, что он не автоматический робот - это, грубо говоря, странное заявление. А кто же он тогда ?
Опять же мне помнится robots.txt делался специально для наведения порядка с грабберами и индексаторами способными быстро распарсить структуру сайта до самых кишок . Более широкое толкование его предназначения IMHO не более чем спорно. Тем не менее, если кто-то считает, что процесс обновления закладок на Яндексе ему мешает, фил, что называется, фри. Яндекс все поймет и не обидится - каждый человек имеет право на свои небольшие странности.
Свидетель wolf, Вы закладки.яндекс.ру видели ?
Поглядите, а потом соберитесь с мыслями и сформулируйте вменяемое сообщение об ошибке, которое будет обосновывать пользователю невозможность установить букмарку на ясно видимую страничку. В случае успеха, не забудьте поделиться этим текстом и с производителями IE.
Имеется таки две большие разницы между поисковым пауком и фэйворитс-рефрешем.
Самая большая из них это то, что Z-подвид паука не индексирует, а проверяет свежесть ссылки.
😮
Как автор термина позволю себе вмешаться. В бинокль упомянутый мною Илья Сегалович смотрит далеко не на всех. Предметом рассмотрения в бинокль является, на мой вгляд, попытка сформулировать претензии к Яндексу по следам неудавшейся попытки обмануть робота. Я допускаю, что для Вас требовалась более подробная формулировка этой мысли. Постараюсь исправиться. Вас, со своей стороны, я попрошу впредь использовать эту метафору с учетом дополнительных разъяснений.
Владимир Иванов
TO: Gray
Давайте будем украшать текст примерами.
Например, предлагаю Вам переформулировать своё выступление так:
Такого-то числа такого-то месяца, я Gray сообщил службе поддержки Яндекса об обнаруженном мною Gray'ем возмутительном дорвее.
Требую разъяснить почему этот дорвей по сей день в индексе, а Агаве поставили заземляющий маркер на PR.
;-)
В команде синих появился новый игрок ? К ним переметнулся главный арбитр ?
