А как часто обновляется кэш Яндекса?

нет, он заходит выборочно.

Вообще алгоритмы и пути просмотра могут быть самыми разными. Он может выборочно просматривать какие-либо страницы. Может обходить страницы сайта на которые нашел ссылки в сети, может делать запрос серверу о дате последних изменений каких-либо страниц, если дата последнего изменения соответствует тому что у него в индексе, он на неё даже не зайдёт, если же нет, то зайдёт проиндексирует ... но если таковых страниц много то может поставить в очередь на обход и проиндексировать в следующий раз или еще позже. НУ а в твоей ситуации если он их у тебя еще 4500 нашел, то он был занят этими 4500 а не твоей главной ... посмотри что это за страницы, и подумай не способен ли он еще найти страниц о существовании которых ты пока не знаешь, а то он до твоей главной может никогда не добраться.

не хватает мозгов понять, откуда страницы взялись!

Советую подправить плавильную отдачу 404 на несуществующих страницах ;)

Вот если кинет все что так найдет в индекс - можно и фильтр сходу словить за дублирование.

Все просто, если юрлы типо ?var=2121 то боты, в частности гугля, умеет подставлять и отрицательные значения (?var=-7475) ;)

Скорее всего у тебя на хостинге есть папка LOGS или как-то так названая, в ней есть файлы, в файлах записи о посещений, какие страницы смотрели, юзер-агенты посетиетелей, ip и другая информация.