Что увидел робот?

M
На сайте с 10.02.2007
Offline
74
345

Добрый день!

После посещения робота в лог-файле остаются, к примеру, следующие записи:

65.36.241.79 - - [10/Feb/2007:00:44:44 +0200] "HEAD / HTTP/1.1" 200 -

62.65.192.23 - - [10/Feb/2007:01:03:11 +0200] "GET / HTTP/1.0" 200 34247

89.108.81.98 - - [10/Feb/2007:14:44:14 +0200] "GET /robots.txt HTTP/1.0" 200 559

Ну 200 - это вроде бы всё нормально, а почему в первом случае стоит "-"? Также, если возможно, кто-то даст ссылку. где этот вопрос подробно освещён.

Р
На сайте с 23.05.2006
Offline
258
#1

mavpa, http://www.yandex.ru/yandsearch?stype=www&nl=0&text=%22HEAD+%2F+HTTP%2F1.1%22+200-

http://www.google.com/search?ie=UTF-8&hl=ru&q=%22%48%45%41%44%20%2F%20%48%54%54%50%2F%31%2E%31%22%20%32%30%30%2D

http://search.rambler.ru/cgi-bin/rambler_search?english=0&and=1&words="HEAD%20/%20HTTP/1.1"%20200-

http://sm.aport.ru/scripts/template.dll?r="HEAD%20/%20HTTP/1.1"%20200-

M
На сайте с 10.02.2007
Offline
74
#2

Разработчик, спасибо за ссылки.Диапазон ответов слишком велик: от "возможная ошибка на сервере" до "так и должно быть". Может растолкуете: 200 - это запрос робота или это уже ответ сервера? Если у меня навигация на скрипте( но продублирована на html) - это может восприниматься роботом как ошибка?

G
На сайте с 03.12.2006
Offline
54
#3
mavpa:
Разработчик, спасибо за ссылки.Диапазон ответов слишком велик: от "возможная ошибка на сервере" до "так и должно быть". Может растолкуете: 200 - это запрос робота или это уже ответ сервера? Если у меня навигация на скрипте( но продублирована на html) - это может восприниматься роботом как ошибка?

Это Ваш сервак отдает 200 и 304 все ОК.

M
На сайте с 10.02.2007
Offline
74
#4

Спасибо всем, успокоили. А то после яндексовских глюков всякая дрянь в голову лезет.

Всё-таки, может кто-то скинет ссылку, где можно почитать о взаимоотношениях роботов и серверов (желательно без излишней зауми). Заранее спасибо.

K
На сайте с 31.01.2001
Offline
737
#5
mavpa:
а почему в первом случае стоит "-"?

Обратите внимание, что запрос был не GET, а HEAD. Значит тело документа не запрашивалось.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
M
На сайте с 10.02.2007
Offline
74
#6

Kost, я увидел, что в некоторых случаях(может быть в большинстве) после 200 стоит ОК, поэтому забеспокоился, тем более сайт уже более 3х недель то индексируется Яндексом, то выпадает, то вместо www появляется без него. Пляски св. Витта одним словом.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий