Индексация большого сайта

Какому именно богу слава?

По логам пробежитесь:

А вдруг писатель бота придумал делать чисто статистическую оценку полезности/новизны/хз-чего...

Самым долгим для бота оказывается HTTP-траф... боту не нужно 70% лишних обращений. Это завышает себестоимость вашей индексации.

Когда делаете сайт, думать о боте надо до начала. И думайте что ему скармливать, а что позакрывать в роботсе (для “по подписке”), хелпы читайте...