Конечно, все не так просто. PR может остаться 5. На самом деле он, конечно, на сколько-то увеличится, но в тулбаре используется слишком грубая шкала, причем, по всей видимости нелинейная, поэтому показания тулбара могут и не измениться.
Я бы интерпретировал немножко иначе:
а) Загрузка документов, на которые ссылается только что загруженный, не является обязательным свойством робота, т.е. можно и не загружать ни немедленно, ни потом.
Вот-вот. не обязательно засасывать все документы, на которые стоит ссылка в исходном в частном случаем может иметь ситуацию не засасывать документы, на которые стоит ссылка в исходном.
Так что не надо грешить на мой английский.
А вот вам такой примерчик: сайт http://www.cheap-cigarettes.com/ имеет PR=6/10 при всего 5(!) показываемых Гуглем backward links (включая и внешние, и внутренние). Каково?
И еще одно определение робота от Webopedia:
A program that runs automatically without human intervention. Typically, a robot is endowed with some artificial intelligence so that it can react to different situations it may encounter. Two common types of robots are agents and spiders.
И опять же программа, проверяюшая сайты, находящиеся в Закладках, попадает под этто определение.
Потому что программа, проверяюшая сайты, находящиеся в Закладках, является роботом
Читаем http://www.robotstxt.org/wc/faq.html
A robot is a program that automatically traverses the Web's hypertext structure by retrieving a document, and recursively retrieving all documents that are referenced.
Note that "recursive" here doesn't limit the definition to any specific traversal algorithm; even if a robot applies some heuristic to the selection and order of documents to visit and spaces out requests over a long space of time, it is still a robot.
Эта программа целиком попадает под это определение.
Я бы очень хотел верить в то, что они пройдут отсюда учить своего закладочного робота вежливости, но что-то мне подсказывает, что этого не случится. ;)
Ну и аргументы - детский сад. Я понял бы, если бы Вася Пупкин заявлял о "размытости определения того робота, который должен следовать robots.txt", но в данном случае это делают представители крупной поисковой системы.
А если я начну Яндекс парсить роботом, который прикидывается Мозиллой, вы меня трогать не будете?? :)
А если робот-анализатор позиций задаст запрос на выдачу ему одной страницы с 50 (100 и т.д.) результатами поиска, и не будет ходить по ссылке на вторую страницу? Он что, перестанет быть роботом???
Кем трактуется??? Вами же в вашу пользу и трактуется.
Я удивляюсь! Сами же привели цитату, что по правилам действия их робота попадают под определение робота, и сами заявили, что считают, что правила не для них.
melkov
Мы Вам про Фому, а Вы нам про Ерему...
Не Ваше дело решать какой размер нагрузки Вашего робота на чужой сервер допустим, а какой нет, и чего там добивается вебмастер, составляя robots.txt. Написано "Нельзя", значит - нельзя.
Вот Вам другая метафора. Вы лезете в яблоневый сад, через забор, на котором написано: "Яблоки рвать запрещается". "Ну и что", - думаете Вы, - "Я ж тока пяток яблок сорвать хочу, а не два мешка". Но заряд соли пониже спины от сторожа все равно получите.
Любопытная логика. Таки я Вам скажу, по по-моему скромному мнению, среди десятков (а может, сотен?) тысяч ежедневных запросов в Яндекс, сотня-другая запросов робота-анализатора позиций заметной нагрузки не создаст. Только Вы ведь меня не послушаете, и IP-шник мой от Яндекса все одно поотрубаете, если моего робота забдите.
Ничего себе немного! Теперь сайт предгают в каталог добавлять только за деньги:
Чтобы подать заявку на платную регистрацию в каталоге, нужно заполнить форму. Стоимость услуги: для сайтов коммерческих компаний или организаций – $100; для остальных сайтов – $20.
Я думаю, Вы невнимательно читаете все разделы форума. А по поводу моего отношения к Яндексу, то дело не в Яндексе так таковом. Просто, когда встречаешь людей, практикующих двойные стандарты, то становится просто по-человечески неприятно.
