Проблема с пауками Mail.ru

Добрый день, коллеги.

Вопрос адресован администраторам, людям работающим с ацеслогами сайтов.

Проблема с поисковыми пауками конкретно Майл.

1) Постоянно, четко четыре раза в час приходит паук Майла

Его юзер: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; http://go.mail.ru/help/robots)

Сетка: 217.69.128.0 - 217.69.135.255

Приходит только этот бот, никаких других не видел уже несколько месяцев (хотя существуют другие пауки).

Сценарий: заходит, получает ответ 200, забирает сайтмап, уходит.

Если удаляю сайтмап - сценарий не меняется - получает ответ 404 и продолжает ходить с той же периодичностью. После возвращения сайтмапа поведение прежнее.

Т.е. паук ходит по жесткому графику, долбит четко сайтмап, ничего больше.

2) Если видит в сайтмапе новую строку (новую страницу) поведение слегка меняется (паук тот же)

а) Забирает сайтмап, видит новую запись

б) Забирает роботс

в) забирает новую страницу

Дальше все идет по сценарию из пункта 1).

Ни картники, ничего более не забирается

3) Проблемы с 301 редиректом. Паук майла не ходит по 301 редиректу.

Я изменил ряд урлов (давно), 301 стоит (проблем с 301 нет ни у Яндекса ни у Гугла, все ОК, проблема конкретно в Майле). В выдаче Майла стоят мои страницы со старыми урлами. Посетитель после перехода с Майла редиректится уже у меня.

4) Проблемы с пересканированием страниц. Т.е. никаких других пауков нет, обновление контента в Майле не происходит. Проблема началась в середине марта.

Суть проблемы. Майл изначально забирает новую страницу, индексирует, ранжирует. При внесении изменений у меня в старой странице, Майл не пересканирует ее страницу (т.к. забирает только сайтмап).

В чем легко убедиться, особенно владельцам интернет-магазинов, у которых на странице стоит дата доставки или еще какая либо дата. Можно посмотреть в кеше Майла и увидеть последнюю дату изменений страницы, которая была сосканирована.

Вижу две вероятные причины.

Первая. Поломался Майл. Написал в Майл. Отвечают долго.

Вторая. Мой дата-центр банит часть пауков Майла до того как они дойдут до моего сайта и я увижу их в своих логах. Пробивается только один. Дата центр утверждает, что ничего Майловского не банит.

Третья причина - на моей стороне маловероятна - пауки Гугла, Яндекса, Бинга забирают новый, обновляют старый контент, ходят по 301 редиректу.

Прощу помощи знатоков.

Посмотрите пож-та свои ацеслоги кто может. У вас картина аналогична моей или все ОК?

Важно понять где проблема - в Майле или дата центре. Трафик с Майла идет небольшой, но руководство требует разобраться именно в причинах почему контент в Майле не обновляется. Причем руководство технически подкованное, требует разъяснений почему Майл берет только сайтмап.

Буду бескрайне благодарен за любую помощь, информацию или совет. Спасибо!