Остановилась индексация

Уважаемые!

Наблюдаем такую ситуацию. Примерно 2 месяца назад началась "свистопляска" с приходом робота. Изначально он проходил порядка 17.000 страниц в день регулярно, потом началось... один день 10.000 пару дней 500. потом опять 15.000... потом неделю 500 и т.д.

В конечном итоге все свелось к тому, что сейчас Яндекс забирает не более 300-400 страниц в день.

Обращение в саппорт - стандартный ответ на счет соблюдения правил для ускорения индексации:

1. в robots.txt запретить все лишнее - запрещено давно

2. создать sitemap - создали, общее кол-во URL в сайтмапах > 400K

3. создайте карту сайта - была давно

В итоге Яндекс сайтмапы обработал только спустя месяц после загрузки и указания их ему явно. Из 400К урлов из сайтмапов обработано 136 (!).

При этом Гугл регулярно забирает в сутки от 40К до 90К страниц. После обновления сайтмапов, Гугл умерил пыл до 30-40К в сутки. Мэйл.ру стандартно забирает свои 1.5К в сутки и другие Рамблеры так же.

И даже робот Яндекса может прибежать ночью, за час собрать 1000 страниц и потом опять в режим 2-3 страницы в час.

Что с Яндексом? Хотел понять - проблема только у меня или еще кто-то заметил подобное поведение робота в последнее время?