Почему же не выдается, проверил на нескольких сайтах,сервер почти везде выдает текущие дату и время в заголовке ответа:
Date: Mon, 12 Jul 2004 21:14:22 GMT
Надо будет RFC посмотреть...
Да Было бы здорово, только большинство серверов дату отдают по Гринвичу, как тут определишь, где у них ночь, а где -- день? ;)
А время отклика определять -- не барское это дело для роботов...
Извиняюсь, глупость сморозил, в отпуск пора. 😕
Роботы, ИМХО, отталкиваются от того времени, которое выдает сервер.
Если дата все время свежая, а контент и объем страницы не меняются, то робот сам со временем перестанет на нее заходить.
Если текст хранится в БД, то там же можно хранить время добавления/изменения текста, ее и использовать.
Если правильно обрабатывать if-modified-since, то ускорится индексация/переиндексация сайта, EvgRen прав, как всегда. ;)
Для сайтов с количеством страниц меньше 500 можно, в принципе и не заморачиваться со всеми этими датами.
Что-то новое значит в Яндексе творится, робот превысил лимит по сайту на 17 страниц!
На прошлой неделе еще ничего подобного не замечал -- потолок был 500 страниц.
Damon, как так 517 страниц взял?
Может запросил, а не взял?
Да уж...
Вот источник, только там ошибка -- между именем поля и двоеточием не должно быть пробелов.
С опозданием присоединяюсь к поздравлениям!
Всего наилучшего, счастья, здоровья и успехов!
User-agent: *
Disallow: /www1/www2/www3/index.html?id
Если я правильно понял вопрос.
