Забавное наблюдение.

Просто наблюдение:

Зашел ко мне сегодня stackrambler/1.4, впервые в этом году. Я за ним, обычно, особенно не слежу, кушает исправно, и ладненько. Но сегодня, с недосыпа, я стал смотреть за его поведеним.

Зашел он в 00:27 скушал страничку ААА. Облизнулся.

Снова появился в 00:35 снова проглотил ААА. Ушел.

Через 4 минуты возник и снова затребовал ААА. (Вкусная очень?)

Спустя 30 секунд съел страницу ВВВ, и гулял где-то 9 минут.

В 00:48 схавал подряд ААА и ВВВ и опять умчался.

В 01:18 затребовал ССС и сразу без паузы ВВВ и DDD. Опять исчез.

Через 10 минут схватил DDD и далее, с разной интенсивностью, начал поедать сайт. Сейчас уже перевалил за 240 страниц, причем в процессе были снова запрошены ВВВ, ССС и DDD по одному разу.

Спрашивается: зачем он так? Пытается вычислить динамику? Проверяет скорость отдачи страницы и подстраивается?

P.S. Стал я внимательно на других смотреть, обнаружил, что и googlebot и yandex тоже запрашивают по несколько раз одни и те же страницы. Но не подряд, а с интервалами. Иногда в один день, иногда через несколько дней.