Индексация ресурса

В смысле запрашивают?

Этот заголовок или отдается, или нет, как и Last-modified, поэтому его робот получит, если сервер его отдаст. Другое дело, что роботы могут его просто не учитывать.

Cherny, спасибо.

А есть знание :) о том учитывают его (заголовок Expires) поисковики или нет и как может повлиять простроченная дата. Есть ли какие-нибудь публикации на эту тему?

Да никак Expires не влияет, это больше для кешей нужно. Поисковики даже Last-Modified не очень доверяют.

Может повлиять, если дата не просрочена. Робот, запросив и проанализировав заголовки, может не переиндексировать страницу, срок действия которой еще не истек, а перейти к следующей.

Таким образом можно повлиять на алгоритм переиндексации большого сайта и более рационально использовать квоту.

Но скорее всего, лучше не заморочиваться с этим.

Заметила, что подопечный ресурс выдает этот Expires аж с 1970 годом. Cherny, спасибо, успокоили :).

andrej-ilin, спасибо! Пригодится :)

А за чьими роботами было замечено такое поведение?

Хм.

andrej-ilin, позвольте с Вами не согласиться. Роботы при индексации сайта делают запрос GET, т.е. сразу получают и заголовки и тело страницы, анализируется сразу и то, и другое.

Управлять переиндексацией сайта можно с помощью анализа запросов, в которых есть заголовок If-Modified-Since с датой. В этом случае сервер может вернуть клиенту 304 Not Modified без тела документа, если документ не изменялся или 200 Ok вместе с телом документа, если изменялся. В этом случае, при неизменной квоте количества документов с одного сайта, роботы будут индексировать только те страницы, которые изменились. Большинство роботов запрашивают документы с заголовком If-Modified-Since, я даже некоторое время назад собирал статистику.

Sonja, да никак он не учитывает.

Cherny, а не осталось ли информации вот какой: роботы, которые Connection: Keep-alive слали - потом действительно не рвали tcp-соединение?

Interitus, не знаю :(

Я только заголовки запросов "складировал".

А как можно проверить соединение, что смотреть надо?