Робот Yandex.Закладки не соблюдает robots.txt !?

W
На сайте с 10.03.2001
Offline
61
#71
Как писал og
Хостинг простых страничек. $15 в год. Никаких CGI, никакого .htaccess.
Зато размер сайта до 150 мег.

Собственно занято мег 135 под html & немного image ..

Тогда я совсем не понимаю как можно в таких условиях пострадать от команды HEAD.

O
На сайте с 08.01.2002
Offline
157
og
#72
Как писал wawa


Тогда я совсем не понимаю как можно в таких условиях пострадать от команды HEAD.

А кто говорл, что это было от команды HEAD?

Пострадал исполнительный директор одной из компании

поскольку увидев череп с костями напротив закладки на корень сайта

решил снять один важный заказ.

Собственно не важно,что у него было в голове.

Важно то, что он это увидел этов Яндекс.Закладках.

И было принято решение не давать никаким роботам Яндекса

никакой информации.

Теперь вы говорите, что никак, кроме как фаэрволом от этого не отделаешься.

Точнее сначала говорите, а потом отказываетесь.

Пока мы живы, смерти нет. Когда придёт она, не будет нас.
W
На сайте с 10.03.2001
Offline
61
#73
Как писал og


А кто говорл, что это было от команды HEAD?
Пострадал исполнительный директор одной из компании
поскольку увидев череп с костями напротив закладки на корень сайта
решил снять один важный заказ.

Собственно не важно,что у него было в голове.

Важно то, что он это увидел этов Яндекс.Закладках.
И было принято решение не давать никаким роботам Яндекса
никакой информации.

🙄

ЭКО (C) Иван Сусанин.

Ну Вы завернули.

А зеркало поставить ? Загонять микробы внутрь - очень плохая привычка.

Да и потом, если Вы его запретите, оно ж тогда все Ваши закладки черепами наградит, потенциальных убытков зеркал на N хватит. В случае неприемлимости (денег, скажем, жаль), я бы посоветовал забыть эту накладку как чудовищное стечение неприятностей. А решение по Яндексу отменить как принятое в состоянии аффекта. 😎

Как писал og
Теперь вы говорите, что никак, кроме как фаэрволом от этого не отделаешься.
Точнее сначала говорите, а потом отказываетесь.

Речь шла про обеспечение максимального ощущения безопасности. Там еще и про стены поминали.

Я ещё немножко поразмыслил и отправил дисклеймер в отдел дизайна. Всё-таки они действительнно там какие-то некрасивые, эти черепа. Чёрные. Ничего не обещаю, но отправить отправил.

Для надёжности - полезно будет и Вам черкнуть туда пару строчек.

С Уважением,

В.Иванов

O
На сайте с 08.01.2002
Offline
157
og
#74


🙄
ЭКО (C) Иван Сусанин.
Ну Вы завернули.
А зеркало поставить ? Загонять микробы внутрь - очень плохая привычка.
Да и потом, если Вы его запретите, оно ж тогда все Ваши закладки черепами наградит, потенциальных убытков зеркал на N хватит.

На сайте инфа по классу продукции ряда фирм.

Это не сайт компании. Сайт получает % от партнёрской программы.

А тут было вот такое.

Кстати, зачем награждать черепами то, что запрещено?

Можно рисовать картинку в виде замка или не выдавать вовсе.

Кто мешает быть адекватным реалиям?


В случае неприемлимости (денег, скажем, жаль), я бы посоветовал забыть эту накладку как чудовищное стечение неприятностей. А решение по Яндексу отменить как принятое в состоянии аффекта. 😎

Да там не только по яндексу.

В общем-то по всем чикерам.


Речь шла про обеспечение максимального ощущения безопасности.
Там еще и про стены поминали.

Речь шла о несоблюдении robots.txt

Да и логики в целом.

По идее кости надо бы рисовать только в случае 404.

В остальных писать правду, что сайт не доступен,

или на сайте запрещен доступ к роботу яндекса.

Или что нельзя найти домен.

M
На сайте с 25.01.2001
Offline
57
#75

wolf

> ... можно и не загружать ни немедленно, ни потом ... частном случаем может иметь ситуацию не засасывать документы, на которые стоит ссылка в исходном

Это святое право любого робота, однако не может отменить определения из первого абзаца:

... by retrieving a document, and recursively retrieving all documents that are referenced, иначе его (это определение) просто не было бы смысла писать в таком виде. Если Вы этого не понимаете, то я просто не в состоянии с Вами еще что-то обсуждать.

Кстати, вернемся к HEAD - не получается даже "by retrieving a document" :).

euhenio

Такой магазин пострадает даже от использования Favorites в MSIE и Netscape :).

> ... что свои проблемы они решать будут сами.

Во-во, зайдет пару раз робот закладок, - сразу и решат, если руки не совсем кривые. Кстати, можно и отсутствие referer'а проверять заодно, хотя неиспользование редиректа - это еще и лишние неудобства для пользователя.

Ну а если "передаются, например, Фио и контактные данные", то их и можно считать ID пользователя.

og

> Однако Яндекс.Деньги на Озоне продаются без всяких https =)

К сожалению, мне пока еще не довелось воспользоваться этим чудным проектом. О возможности перехвата личных данных пользователя третьими лицами у нас пока что мало кто печется, а пользоваться электронными магазинами все равно хочется ;).

Но это уже слишком сильное отклонение во флейм.

wolf
На сайте с 13.03.2001
Offline
1183
#76
... by retrieving a document, and recursively retrieving all documents that are referenced, иначе его (это определение) просто не было бы смысла писать в таком виде. Если Вы этого не понимаете, то я просто не в состоянии с Вами еще что-то обсуждать.

Вы просто зациклились на индексирующих роботах, которым действительно необходимо соблюдать это правило! Но ведь есть понятие link validation robots, которым этого не надо делать, но которые, тем не менее, не перестают от этого быть роботами. И тот факт, что им для работы достаточно запроса HEAD, а не GET, тоже не делает их не роботами. В базе роботов сайта http://www.robotstxt.org таких собрано немало. Например, GetterroboPlus Puu имеет maintenance: link validation и не более того. И как и все вежливые роботы, соблюдает Exclusion Protocol.

Так что ваш закладчик - робот в общепринятом смысле, хоть и невежливый. Хотя скажу по секрету, Robozilla тоже невежлив. ;) И Бог бы с ним, с вашим невежливым роботом, просто за Славу Тихонова обыдна, понимаешь. :)

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
O
На сайте с 08.01.2002
Offline
157
og
#77
Как писал melkov
wolf

og
> Однако Яндекс.Деньги на Озоне продаются без всяких https =)
К сожалению, мне пока еще не довелось воспользоваться этим чудным проектом. О возможности перехвата личных данных пользователя третьими лицами у нас пока что мало кто печется, а пользоваться электронными магазинами все равно хочется ;).

Но это уже слишком сильное отклонение во флейм.

Вот вот, вы лучше по сути моего последнего сообщения

(09-08- 2002 17:48) в этом топике ответьте.

Где логика в работе робота закладок, и закладок в целом, если они

по сути дезинформируют пользователя.

BB
На сайте с 25.03.2002
Offline
31
#78
Как писал melkov

Во-первых, за 10 минут можно поправить скрипт так, чтобы после оформления заказа делался редирект 302 на страничку "заказ принят", с исходными параметрами.

Во-вторых, это что же получается, ID пользователя тоже параметром скрипта передается? А как же безопасность? Любой желающий из referer'а его узнает, и, будучи в веселом настроении, пойдет еще Вам что-нибудь закажет :). Такой магазин вообще не имеет права существовать (кстати, меня несколько мутит вообще от форм заказа без https).

Всем добрый день! :)

Уважаемые представители компании Яндекс!

Вами неоднократно озвучивалось, что Ваша поисковая система - зеркало Рунета. Соответственно, задачей этой поисковой системы является отображение существующего положения вещей. На мой взгляд, принимать решения о стандартах развития Рунета (интернета) непосильно не то что Яндексу, но и международным стандартизирующим организациям. Это саморазвивающаяся система. На данном этапе этой системы возможно существование таких интернет-магазинов, как описал Euhenio. Как сказал Далай-Лама, "Что есть - есть". Фактом является также то, что такому объективно существующему интернет-магазину (и его владельцу) сервис закладок, принадлежащий Вашей компании, может принести вред (испортить отношения с клиентом - что может быть страшнее для владельца интернет-магазина). Полностью согласен, что вред такому не очень аккуратному магазину, нанесут и заходы с обычного избранного в браузерах. Но через избранное будет вручную заходить только тот, кто туда закладку поместил, то есть клиент интернет-магазина. И тогда, с юридической точки зрения, все очень прозрачно - никакой вины нет ни у разработчика браузера, ни у разработчика интернет-магазина. А вот в случае автоматических заходов робота закладок с сервера Яндекса, с юридической точки зрения в вопросе возникает еще одна сторона-ответчик. Скажу по секрету - это Яндекс. :) На мой взгляд, будет разумно доработать этот сервис закладок так, чтобы он работал в рамках установленного robots.txt ограничения. Зачем Вам юридические бреши, пусть и мелкие и размытые?.. ведь в компаниях, не умеющих делать хорошие интернет-магазины могут оказаться очень сильные юристы. :)

aktex.ru - аккумуляторный информационный портал (http://www.aktex.ru/)
M
На сайте с 25.01.2001
Offline
57
#79

og

Вообще-то я ожидал, что ответит wawa :). Думаю, что в плане значков что-то и будет сделано (по окончании сезона отпусков), но эти вопросы вне зоны моих интересов.

Что касается robots.txt, не думаю, что Закладки когда-либо будут его проверять (если только на него самого не поставят закладку :) ), по причинам, подробно изложенным выше.

wolf

Пример можно было бы и получше привести: GetterroboPlus Puu, конечно, занимается link validation, но только в составе поисковой системы.

Что касается вежливости, а так же тонкой грани между роботами и агентами, то тут кого-либо трудно переубедить. В любом случае, Закладки точно не занимаются Хамством.

M
На сайте с 25.01.2001
Offline
57
#80

baikal-boy

Кстати, Закладки являются не частью ПС Яндекс, а сервисом портала Яндекс (как бы Грею не пришлось этот топик переносить во флейм :)), а посему являются не совсем зеркалом Рунета.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий