Индексация сайта за сутки!

Yandex-blog пишет
Теперь мы индексируем быстрее!
1 августа 2005 года, 16:54
Поиск, робот
На днях мы запустили "быстрый" робот, который работает одновременно с основным и предназначен для оперативного обнаружения и индексации актуальных страниц.
Используя 4 источника информации о востребованных пользователями документах, быстрый робот находит новые и измененные страницы, делая их доступными для поиска уже через несколько часов после обнаружения.
База быстрого робота обновляется каждые 1,5-2 часа, а время от момента скачивания документа до момента его появления на поиске составляет от 2 до 5 часов. На сегодняшний день база быстрого робота насчитывает около 4 миллионов документов.
На выдаче результаты из быстрого робота отличаются от основных наличием поясняющей надписи о том, как давно была проиндексирована последняя версия документа (столько-то часов назад, вчера, позавчера).
Страницы быстрого робота особенно хорошо заметны при сортировке результатов поиска по дате.
Александр Авдонкин, программист отдела разработки поисковых сервисов