А в чем проблема в приведенном примере? Обращения идут с интервалом в 2 секунды.
Я так понимаю что речь о небольшом сайте у которого относительно мало страниц.
Можете в личку скинуть адрес?
Подтверждаю, было дело.
Текущий User-Agent основного робота: "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)". Действителен с 16.05.2013.
Этими модификациями пытаемся, как Вы правильно заметили, обойти фильтры. Вернее, одновременно донести что мы робот go.mail.ru (о чем говорит ссылка), и десктоп-версия (Linux x86_64).
