Мусор в очереди на индексацию роботом Я

После того, как внезапно главным зеркалом стал сайт без "www", и индекс для всего домена обнулился, решил воспользоваться случаем и понаблюдать за телодвижениями робота Я на этом домене. Да и за процессом возвращения в индекс.

Публикую в основном форуме, так как это касается работы ПС в целом (выпадение позволило провести "эксперимент").

Думаю, что из этих наблюдений можно сделать некоторые полезные выводы:

1). Сразу после выпадения, и до сегодняшего дня (прошла ровно неделя), стиль захода робота "I" качественно изменился. Если раньше это происходило достаточно равномерно в течение всех суток, теперь индексация происходит только в ночное/утреннее время, двумя "волнами". Первая - короткая, ~30 минут, начинается либо в 2 ночи, либо в 5 утра. Вторая - длинная, 1-1.5 часов, наблюдается либо между 5-7 утра, либо между 7-9 утра.

Робот пытается проиндексировать порядка 1500 страниц в сумме.

Новые страницы ему практически не известны, так как он в упор не видит "морду". Возможно потому, что следуя любезной рекомендации Платона попытался вернуть основное зеркало на место, т.е. на www. через robots.txt.

Все, что пытается сейчас проиндексироваться, судя по всему берется из следующих источников:

a). Свежие ссылки с форумов ("естественные")

б). Прямые ссылки с сайтов, размещающих прайс-лист и тянущих информацию через YML-коннекторы

в). Гипотетическая очередь на индексацию поисковым роботом, о чем хотелось бы рассказать подробнее:

Робот упрямо и ежедневно пытается обратиться к скриптам, которые были удалены с сайта еще в 2003(!!!) году и с тех пор выдавали строго 404. В основном, это старый скрипт форума. Причем индексировать несуществующие страницы пытается "по-взрослому" - например, проходится последовательно по нумерованным индексам постов в формум или записям каталога "блоками" по 20-30 записей.

Как уже сказал с самого начала, индекс для домена был обнулен полностью. Возможно, где-то в недрах Я и хранится резервная копия старого индекса, но зачем тогда в течение трех лет в нем хранить страницы, которые уже не существуют? И пускать их на переиндексацию именно сейчас, когда формально для системы этого домена уже не существует?

Создается впечатление, что очередь на индексацию живет собственной жизнью, иногда обращаясь к основному индексу за "свежим мясом". В отсутствии такового начинает рыться по собственным закромам, чтобы не сидеть без дела. Соответственно, кроме мусора там мало чего полезного. Со стороны Google и Rambler ничего не похожего не наблюдаю.

Возможно, именно поэтому после бана робот Я продолжает индексацию сайтов.

2). Основное зеркало сайта было возвращено в индекс после апдейта 06.11 .

Морда + "глубоко" зарытых вовнутрь ~750 страниц. Внутреннее ссылочное полностью утеряно, по НЧ эти страницы появляются в выдаче сразу после аналогичных экспериментального сайта-копии, который давно уже ведет собственную "жизнь" (внешние ссылки на копию не проставлялись специально, по каталогам не прогонялся).

По ВЧ морда вернулась на позиции, которые занимала до выпадения.