Yahoo проверяет 404

M
На сайте с 31.03.2007
Offline
20
955

Поймал бота Y, который проверял ответ сервера на такие запросы:

/SlurpConfirm404.htm

/SlurpConfirm404/CLVRa.htm

/SlurpConfirm404/list-ark/postscript.htm

Вопрос - Y наказывает сайты отвечающие на любые запросы 200?

Lor
На сайте с 28.05.2004
Offline
352
Lor
#1

Хороший вопрос.

Судя по поведению Yahoo! последнее время можно предположить, что такое явление имеет некоторый вес. Правда, с точки зрения юзабилити, гораздо правильнее послать юзера на одну из корневых страниц раздела, если он допустил ошибку в наборе адреса.

Гугл вроде не делает из этого проблемы, а Yahoo немного тупит.

Йопез - форум без модераторов. https://yopez.com
Lor
На сайте с 28.05.2004
Offline
352
Lor
#2

Сегодня лазил по Yahoo! и вот подтверждение по теме:

Some web servers send a site navigation page or other response page with a "HTTP 200 OK" response instead of a "HTTP 404 Not Found" result for page-not-found conditions. To check on web server handling of page-not-found conditions, Slurp will occasionally send deliberately odd URLs built from random words to sites from which no 404 results have been seen. These URLs are built intentionally to not match any actual content at the site. We save information on the web server response to requests for non-existent pages so we can correctly recognize and remove obsolete URLs in our search database.
A Slurp check for 404 results from a web server consists of requests for up to 10 such URLs. The check for 404 behavior is not a normal part of Slurp site refresh, so such requests will be rare.
JR
На сайте с 22.03.2005
Offline
263
#3

А по моему Яху уже давно 404-ю простукивает, и даже вроде топик был, но не нашёл его.

VR
На сайте с 21.09.2006
Offline
52
#4

Поясните мне, малограммотному, а что это означает? Для чего ему эти запросы, а главное, что эти запросы означают.

Заранее спасибо за ответ :)

Lor
На сайте с 28.05.2004
Offline
352
Lor
#5
ValeRa_:
Поясните мне, малограммотному, а что это означает? Для чего ему эти запросы, а главное, что эти запросы означают.

Yahoo! посылает запрос к несуществующим на сайте страницам типа /sdfgsdsdfgdsffgagadg.html. Запросы посылаются к сайтам от которых никогда не приходил ответ 404.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий