Меня смущает странное сканирование, систематический переход бота изо дня в день по одним и тем же кеям на одни и те же страницы (для каждого домена свой набор), дальше той страницы бот не идет, бывает еще такой user agent "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0; Media Center PC 4.0; SLCC1; .NET CLR 3.0.04320)" точно с такими же поведением.
Это известный мне факт, просто некоторые хостеры допускают наличие такого рода ссылок с ресурсов при отстутствии шопов на их площадках. Но на данный момент вопрос уже не актуален
