бстроробот и дата документа

bondarev.pp.ru
На сайте с 29.09.2005
Offline
202
876

Неоднократно на форуме отмечалось, что если в результатах поиска стоит дата возле ссылки, значит, документ был проиндексирован быстророботом.

Я уже месяц наблюдаю дату возле КАЖДОЙ страницы КАЖДОГО из сайтов, которые делал за последний год. Даже если на сайте давно не проводилось никаких изменений (показывается дата 21.09.2005).

Дата совпадает с датой последнего изменения документа, отдаваемой сервером (Last-Modified).

Неужели ВСЕ страницы ВСЕХ этих сайтов индексирует только быстроробот? Как-то неправдоподобно.

Закономерность я обнаружил только одну: все эти сайты отдают корректный Last-Modified для каждого документа. Сайты, сделанные до того, как я написал библиотек для выдачи Last-Modified и стал ее активно применять, выводятся без даты.

Так может, дата никак не связана с индексацией быстророботом?

bondarevpipes.com (http://ru.bondarevpipes.com/)
i73
На сайте с 08.03.2006
Offline
188
i73
#1

а что это за библиотека? можно в личку примерчик и условия применения :)

V
На сайте с 25.02.2003
Offline
176
#2

bondarev.pp.ru,

а Вы взгляните на документы местного форума и на их даты...

Все, как Вы говорите.

Работа в интернет, реальная оплата, не партнерка (http://www.vjazanie.ru/job.php)
Angelika
На сайте с 19.08.2005
Offline
58
#3
bondarev.pp.ru:
Неоднократно на форуме отмечалось, что если в результатах поиска стоит дата возле ссылки, значит, документ был проиндексирован быстророботом.

Нет, быстроробот пишет как давно проиндексировал - 4 часа назад или позавчера. Дату он не ставит.

А дата возле результата - это дата изменения документа. Если Last-Modified выдает текущую дату, то дата возле результата есть дата индексации.

bondarev.pp.ru
На сайте с 29.09.2005
Offline
202
#4

Прошу прощения у всех, у кого отнял время.

Разобрался, в чем было мое заблуждение. Тему можно закрыть.

i73:
а что это за библиотека? можно в личку примерчик и условия применения :)

Да все довольно просто. Это инключится в начале скрипта:

function lastmodified($time = 0) {

static $modified;
$ret = (int) $modified;
if ($time > $modified) {
$modified = $time;
}
return $ret;
}

function lastmodified_flush($buffer) {
$files = get_included_files();
foreach($files as $file) {
lastmodified(filemtime($file));
}
header('Last-Modified: '. gmdate('D, d M Y H:i:s', lastmodified()) . ' GMT');
if (!defined('LASTMODIFIED_CLENGTH') || LASTMODIFIED_CLENGTH) {
header('Content-Length: ' . strlen($buffer));
}
return $buffer;
}

ob_start('lastmodified_flush');

Этот код перебирает все подключенные файлы и выдает дату изменения самого свежего из них.

А фунция lastmodified() вызывается вручную, если имеются другие данные о дате изменения документа (например, если достаем из базы статью и известна ее дата, делаем lastmodified($article['Modified']);

Функция lastmodified() запоминает максимальный из всех переданных ей параметров в статической переменной.

ST
На сайте с 29.09.2005
Offline
30
#5

Насколько я понимаю, стандартный скрипт Last-Modified не умеет говорить "столько-то часов назад, вчера, позавчера" и по этим вот фразам можно с высокой степенью достоверности считать, что страницы обработаны быстророботом. Что касается более старых маркеров (с указанием конкретной даты) - сложно сказать, что это такое - Last-Modified или быстроробот. В подобных случаях я, например, просто смотрю HTTP-заголовок интересующей страницы.

Ну вот, пока писал, уже все во всем разобрались. :)

i73
На сайте с 08.03.2006
Offline
188
i73
#6

спасибо.

попробую воспользоваться :)

A
На сайте с 25.10.2005
Offline
219
#7

bondarev.pp.ru,

Вообще-то кто-то говорил на форуме, что признак быстроробота - не дата, а "7 часов назад", "вчера". А дата - это значит уже в базе. Но показывается она в основном при сортировке "по дате" (и то по моему не у всех страниц)

i73
На сайте с 08.03.2006
Offline
188
i73
#8

а как быть с такими ссылками, которые постоянно раз в два-три дня индексятся быстророботом и в выдаче постоянно "вчера" или "5 часов назад" и т.п.

они разве никогда в базу основную не попадут?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий