Если более конкретно, то меня интересуют алгоритм обхода ботом проиндексированных сайтов, который обновляет базу и системные ресурсы потребляемые им
