На сколько я понимаю, на всё это влияет время отклика сервера, его быстродействие и прочие параметры. Необходимо, что бы поисковые пауки могли на сайт зайти без проблем в неограниченном количестве и что бы при этом сервер не кричал о перегрузке. Что бы скорость пролазки паука по серверу зависила не от сервера, а от самого паука. Другими словами, что бы сервер по возможности не создавал проблем при скане сайта поисковиками.
Надеюсь, понятно изложил основную мысль.
