Большая нагрузка на CPU из-за Googlebot

Всем доброго времени суток.

Прошу поделится опытом или советом.

у меня сложилась следующая ситуация:

для увеличения трафика мы значительно увеличили количество страниц на продвигаемом сайте

примерно до 150 000 страниц - все они были проиндексированы гуглом, но после этого увеличилась нагрузка на CPU сервера где находится сайт

тариф хостинга: https://www.netangels.ru/services/hosting/standard/

Сейчас нагрузка стала, примерно, в полтора два раза выше чем допустимо тарифом.

основная нагрузка идет от Googlebot (проанализировал логи)

вопрос следующий, что лучше сделать:

1) ограничивать по ip всех Googlebot которые заходят на сайт - но тогда сайт будет плохо индексироваться гуглом, а трафик посетителей с гугла идет хороший

2) перенести сайт на другой более мощный хостинг или перевести на другой тариф к примеру

3) или есть еще какие-то варианты?

PS

директива

User-agent: *

Disallow:

Crawl-delay: 40

не помогает, по логам вижу что запросы от 66.249.78.96 все равно идут с периодичностью 1-10 секунд подряд, сотнями

урл сайта светить не хочу