Вопрос по Яндексу

Я вот читаю эту х... эээ... дискуссию и думаю: почему бы борцам с Яндексом не пойти лучше и не докопаться до авторов различных email грабберов, что они не уважают robots.txt?

Так, мысли вслух 🙄

Нормально. Robots exclusion protocol не чувствителен к регистру.

А как кто, позвольте спросить?

Всему свое место. Данный форум вообще-то посвящен поисковым системам, а не email грабберам. Откуда Вы знаете, может в соответствующих местах борьба с последними ведется не менее активно. ;)

Да? Однако страница http://www.yandex.ru/addurl.html не запрещена для роботов файлом robots.txt. А в лицензии сказано только о запрете на атоматические запросы в поисковую систему, но ни слова о запрете на автоматическое добавление страниц в базу Яндекса. Кстати, автоматические добавлялки будут сродни вашему роботу D - в форму на специальной странице человек вводит свой URL, а автосабмиттер постит его в вашу форму (ну, и заодно, возможно, и в кучу других ;) ) - то есть это сервис, в котором пользователь явно просит обработать явно заданный URL и по вашему определению роботом не является.

Скачивать страницу и делать запрос по форме из этой страницы - это не одно и то же. Запрет должен распространяться не на адрес:

http://www.yandex.ru/addurl.html

а на адрес:

http://www.yandex.ru/cgi-bin/publicaddurl

На каковой он и распространяется:

http://www.yandex.ru/robots.txt

User-Agent: *

...

Disallow: /cgi-bin/

...

Так что формально мы ведем себя впоне корректно.

Вряд ли стоит вступать в дискуссию надо считать ли "автодобавлялки" роботами. Она довольно бесплодная. К тому же агрессивные автодобавлялки мы, конечно же, запрещаем.

Сам вопрос возник потому, что пользователи часто понимают robots.txt не как список запрещенных для автоматических агентов зон на своем сайте, а как отображение своего сайта в базе поисковых систем. Очевидно, что это не совсем одно и то же.

Впрочем, может быть стоит и нам трактовать robots.txt именно во втором смысле. Надо подумать на эту тему.

Илья

Программа wget, которая используется в юникс-системах для скачивания информации, имеет опцию рекурсивного скачивания. При этом она обрабатывет файл robots.txt после выгрузки индексного файла и составления списка загрузки, о чем явно написано в руководстве. Интересно как ведет себя в аналогичном случае Teleport под Windows?

При чем тут рекурсивное скачивание?

Программа addurl (Yandex с флажком D) этим не занимается, он скачивает только 1 (_один_) URL, явно указанный _человеком_ в форме

В данном случае я не имел в виду какого-либо робота Яндекса, а просто привел пример программы, нарушающей в своей работе Robots Exclusion Standard, что имеет некоторое отношение к данной теме. Если неправ, прошу прощение за оффтопик.