Яндекс робот и If-None-Match (Etag)

12
Bdiang
На сайте с 19.07.2006
Offline
102
1738

Передает ли робот Яндекса в Get запросе серверу такой заголовок: If-None-Match: ??

Здесь http://webmaster.yandex.ru/faq.xml?id=502475#howtohelp указано только о If-Modified-Since

Кто нибудь сталкивался с этим вопросом?

Объясню зачем мне это нужно: для ускорения индексации новых или изменившихся страниц.

Т.е выдавать 304 not modified. Но обычно это делают выставляя заголовок last-modified.

Поскольку это принесет много гомороя, крайне заинтересован в альтернативных способах работы с кешем на стороне клиента (т.е робота Яндекса). Например If-None-Match и Etag

dantess
На сайте с 06.11.2004
Offline
133
#1
Bdiang:
Передает ли робот Яндекса в Get запросе серверу такой заголовок: If-None-Match: ??

Здесь http://webmaster.yandex.ru/faq.xml?id=502475#howtohelp указано только о If-Modified-Since

Но ведь должен он еще и Etag сравнивать!

Кто нибудь сталкивался с этим вопросом?

Не сталкивался.

Но проверить ведь довольно просто - на самой посещаемой ботами яндекса странице сбросьте переменные окружения в файлик если User-agent яндексовский.

Bdiang
На сайте с 19.07.2006
Offline
102
#2

Спасибо

Так и сделал. Завтра посмотрю и отпишу сюда)

Bdiang
На сайте с 19.07.2006
Offline
102
#3

Yandex/1.01.001 (compatible; Win16; H)

FCGI_ROLE: RESPONDER

REDIRECT_REDIRECT_STATUS: 200

REDIRECT_STATUS: 200

HTTP_HOST: ******.ru

HTTP_CONNECTION: Keep-Alive

HTTP_USER_AGENT: Yandex/1.01.001 (compatible; Win16; H)

HTTP_FROM: webadmin@yandex.ru

PATH: /usr/local/bin:/usr/bin:/bin

SERVER_SIGNATURE: <address>Apache/2.0.54 (Debian GNU/Linux) Server at ****.ru Port 80</address>

Не того ни другого заголовка нет(

YuraZ
На сайте с 05.06.2006
Offline
95
#4

Это H, а важнее, наверное, I робот. Вы скиньте пожалуста его заголовки, как поймаете - тоже интересно ;)

Да кстати - полупотеме :) вопрос - содержимое Etag это обязательно md5() страницы или можно от балды свои пути выдумывать лишь бы уникально было и менялось при смене контента?

Bdiang
На сайте с 19.07.2006
Offline
102
#5
YuraZ:
Это H, а важнее, наверное, I робот. Вы скиньте пожалуста его заголовки, как поймаете - тоже интересно

ок

YuraZ:
Да кстати - полупотеме вопрос - содержимое Etag это обязательно md5() страницы или можно от балды свои пути выдумывать лишь бы уникально было и менялось при смене контента?

Здесь есть пример формирования етага:

http://wcatalog.net.ru/articles/41.htm

В частности там написано что етаг может быть md5-хэш :)

bondarev.pp.ru
На сайте с 29.09.2005
Offline
202
#6

Bdiang, вы что-то не то записали. Вам нужно apache_request_headers().

bondarevpipes.com (http://ru.bondarevpipes.com/)
Bdiang
На сайте с 19.07.2006
Offline
102
#7

Да точно. Я $_SERVERS записал

Уже поправил

Спасибо

Bdiang
На сайте с 19.07.2006
Offline
102
#8

Самая мировая тех. поддержка у нетэнджелса!!! Респект им.

Вобщем, робот яндекса передает только If-Modified-Since

К сожалению :)

nickspring
На сайте с 29.03.2006
Offline
228
#9

Bdiang, зачем вам еще что-то? юзайте If-Modified-Since - этого хватит для клиентского кеширования. Ссылка по теме: http://www.controlstyle.ru/articles/programming/text/if-mod-since-php/

Bdiang
На сайте с 19.07.2006
Offline
102
#10

Спасибо за статью - то что надо)

ЗЫ Привет земляк)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий