Робот Yandex.Закладки не соблюдает robots.txt !?

Александр, добрый день!

Конечно, методика разбиения аргументов очень эффективна, но все же, не нужно так явно смещать акцент с одной части вопроса в другую, на которую Вам удобнее отвечать. :) И, тем более, заявлять, что эта часть вполне пригодна для снесения во флэйм. Может быть, просто своими ответами прояснять ситуацию, таким образом не позволяя этому флэйму возникать? :)

Мне кажется, вопрос не в том, частью чего являются закладки. Суть в том, что они принадлежат Яндексу и объективно существует возможность нанесения ими вреда конкретному сайтовладельцу. Меня в данной ситуации настораживает то, что ваша компания не стремится принять обратную связь от своих клиентов, чтобы использовать эту информацию в оптимизации своей работы (я имею в виду ваше замечание о том, что закладкам совсем необязательно следовать неформальному, но общепринятому правилу - robots.txt, а что самым верным путем будет просто всем веб-мастерам научиться обрабатывать заголовок head применительно к конкретному случаю его применения вашим сервисом... а если этих сервисов станет 250? и все они будут работать не совсем по правилам? и будут менять свои алгоритмы примерно так раз в пару месяцев?). Простите мне мой французский, но что-то все-таки не так в ваших доводах... :)

Вообще, по сути дела, жить без чувства юмора тяжко. Но - клиент имеет право чувства юмора не иметь, так что отвечаю серьёзно.

1. Если навести мышку на череп, то примерно через секунду возникает надпись: "Ресурс недоступен. Проверен XX.XX.XX". Там не написано, что он мёртв, закрыт хозяевами, etc etc. Написано, что мы пробовали и обломались.

2. Всё же: Если Ваши контракты зависят от стабильности Вашего сайта, сайт должен работать всегда. Слава Богу, это нынче недорого и несложно. И не имеет никакого отношения к Яндексу и его черепушкам.

3. Robots.txt к Закладкам, конечно же, никакого отношения не имеет - это достаточно очевидно из предыдущего обсуждения, не буду повторять уже озвученные аргументы. Кстати, роботов у Яндекса много и у всех у них - свои правила жизни, логика работы и реакция на поведение сайта.

4. Заменить череп - не такая простая задача. Желающие могут попробовать нарисовать в гифе 16*16 что-то вразумительно обозначающее недоступность страницы, так, чтобы оно вписывалось в дизайн имени Ромы Воронежского. Работы можно присылать мне - если они нам понравятся, а Студия Лебедева не будет против - поставим вместо черепушки. :)

Однако не все так думают. В Буржуинии, кстати, тоже периодически слышатся возмущения несоблюдением robots exclusion протокола различными URL verify роботами. См., например, http://www.innopacusers.org/list/archives/2001/msg01165.html

Всё выделенное жирным шрифтом написал dz

Вообще, по сути дела, жить без чувства юмора тяжко. Но - клиент имеет право чувства юмора не иметь, так что отвечаю серьёзно.

Чувство юмора не всегда уместно.

1. Если навести мышку на череп, то примерно через секунду возникает надпись: "Ресурс недоступен. Проверен XX.XX.XX". Там не написано, что он мёртв, закрыт хозяевами, etc etc. Написано, что мы пробовали и обломались.

Это недоинформация. Тоесть на основе её нельзя судить о

жизнеспособности ссылки, для чего этот инструмент и создавался.

Вариантов при этом множество:

1) Ссылка может быть недоступна только роботу Яndex.Закладки.

2) Робот обратился к DNS'у, а тот не смог отрезолвить домен.

a) По причине глюка в ДНС сервере Яndex.Закладки.

б) По причине недоступности днсов зоны со стороны NS'а робота.

I. Межсетевое коннективити

II.Выборочная фильтрация.

3) На сервере отключёна обработка HEAD.

4) На сервере включена обработка несуществующих документов с их

автоматической генерацией. При этом в HTTP заголовке выдаётся 404

ошибка

При всех этих вариантах ссылка будет существовать для пользователя,

а Яndex.Закладки по сути будет дезинофрмировать посетителя.

2. Всё же: Если Ваши контракты зависят от стабильности Вашего сайта, сайт должен работать всегда. Слава Богу, это нынче недорого и несложно. И не имеет никакого отношения к Яндексу и его черепушкам.

Сайт работает всегда, и работает без сбоев.

3. Robots.txt к Закладкам, конечно же, никакого отношения не имеет - это достаточно очевидно из предыдущего обсуждения, не буду повторять уже озвученные аргументы. Кстати, роботов у Яндекса много и у всех у них - свои правила жизни, логика работы и реакция на поведение сайта.

Совершенно не очевидно.

Тем более, что логика кривая.

4. Заменить череп - не такая простая задача. Желающие могут попробовать нарисовать в гифе 16*16 что-то вразумительно обозначающее недоступность страницы, так, чтобы оно вписывалось в дизайн имени Ромы Воронежского. Работы можно присылать мне - если они нам понравятся, а Студия Лебедева не будет против - поставим вместо черепушки. :)

К сожалению вы так и не поняли сути.

Сутью является валидное отражение реальности, а не отражение

через кривое зеркало, коим на данный момент является Яndex.Закладки.

Посмотрев в зеркало Яndex.Закладки я вижу череп, хотя сайт жив.

И ссылка валидная.

Вот Вам другой пример. Выдержки из Code of Etics сайта www.linksmanager.com , который предоставляет сервис для автоматизации управления страницами ссылок сайта пользователя:

LinksManager Abides Robots.txt

LinksManager runs two automated processes that act like search engine spiders or verifiers. They are:

Reciprocal Link Checker - Scans websites who have a link on a LinksManager account owner's links pages, searching for a reciprocal link back to that account owner's website.

Dead Link Checker - Scans websites who have a link on a LinksManager account owner's links pages, to determine if that website is active and visible.

Both of these automated processes abide by any relevant instructions in a website's robots.txt file.

М-да, не любят тут Яндекс...

Ну и флейм поднялся. Можно было уже несколько раз скрипт подправить, провайдеру позвонить и Яндекс сломать... Причем все, кроме последнего считается хорошим тоном, да и проще.

Ну, это все еще надо умножить на количество сайтов в рунете :)

Ага, я даже примерно представляю на сколько порядков отличаются трудозатраты вариантов нормализации Яндексом какого-либо сервиса, или приведения всей сетью сайтов в соответствие с особенностями этого сервиса. :) В этой связи я не совсем понимаю фразы о "любви" или "нелюбви" к чему-либо, например, Яндексу... причем тут эмоции?

Простите, но какой скрипт?

Гмм, вы читали все сообщения этого топика? =)

Ничего личного =)

Бизнес есть бизнес.

А кто говорил о Любви к Яndex'у ? =)