поведение робота google

А если давать HTTP/1.1 304 Not Modified - не помогает ?

я забыл упомянуть, что для большинства документов if-modified-since обрабатывается гуглом корректно, а вот попадаются такие экзепляры пример которых я привет в своем первом топике.

А это делается для того, чтобы действительно проверить, менялся ли документ, или роботу голову морочат.

Робот-шпион! :D Помню, ходили одно время легенды о таких. Из разряда оптимизаторских баек. Дескать, есть спецроботы для того, чтоб отлавливать клоакинг. Запускаются с секретных IP, представляются Мозиллой и сличают документы. Может, и этот из той же серии :)

Сергей, я думаю все не совсем так.

Скорее всего это не робот-шпион, да и вообще никакой не специальный робот, да и не в роботе дело, а в алгоритме построения списка ссылок на страницы для посещения роботом. Например, появилась внешняя ссылка на страницу, но страницу эту Гугл знает и в базе ее имеет, так вот и появляется в списке ссылок одна и та же страница, только первая ссылка с известной датой изменения документа, а вторая как бы новая. Позже он их склеивает.

Вот и получается такая карусель.

mnt, Вы проверьте, не мог ли Гугл найти новые ссылки именно на те страницы, которые он запрашивал дважды?