Дата в гугле

Разве в Яндексе показывается не дата последнего изменения документа (заголовок Last-Modified, выданный сервером роботу про последней (пере)индексации) ? Это совсем не дата включения в индекс. А если сервер такой заголовок не выдает (или выдает сиюминутную дату), то никакой даты не показывается вообще.

Простите :)

В моем случае дата документа ставится всегда текущей, так что можно говорить, что дата включения в индекс.

В любом случае - как можно узнать (кроме изучения логов) когда робот последний раз прошелся по сайту.

P.S. Не знаете, откуда можно взять откомпилированную русскую версию webalizer для FreeBSD?

И в Яндексе и в Рамблере показывается дата последнего изменения документа, которую выдает сервер в Last-Modified. Если сервер выдает текущую дату в Last-Modified, то она и отображается как дата последнего изменения и совпадает с датой посещения страницы роботом. Если сервер такой заголовок не выдает, то никакая дата не отображается ИМХО.

Можно использовать простой текстовый счетчик на Perl либо PHP.

Сейчас меня обзовут извращенцем :)

http://www.faganfinder.com/google.html

Интерфейс удобен автоматическим преобразованием даты поля daterange в юлианский (если не путаю) формат. Можно для запроса, по которому страница заведомо находится, подобрать такую начальную дату, что при конечной текущей дате страница не находится, а при уменьшении начальной на день - находится. Последняя дат и будет интересующей нас.

Но что мешает выводить на странице дату и смотреть на нее в кеше?

Даже этого не нужно делать. Я здесь уже упоминал об этом. Есть такой поисковик Comet Web Search, который пользуется базой Гугля. Так вот, когда смотришь кэш страницы (Archived copy), то там указывается и дата ее переиндекации Гуглем:

It is an archived copy dated Aug 6, 2002.