Подскажите по индексации гуглом.

для этого как уже сказали есть Crawl-delay, также есть возможность в вебмастере вручную подать заявку на изменения скорости сканирования

это как бы совсем уже другой вопрос. определитесь - нужно снизить нагрузку или полностью закрыть?

Ну о нагрузке я вообще речи не вел.

Меня интересует именно способ либо жестко граничить доступ бота на сайт, либо, это даже лучше, вообще как то закрыть ему доступ.

Даже лучше доступ закрыть.

Но так что бы он 100% не заходил, если я его не позову.

Вебмастер не подходит.

добавь X-Robots-Tag: noindex в хедер, будет отстреливать ботов на подлете https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag?csw=1

Автор, как вы не можете понять, что частота визитов не связана с Вашими банами - по сути. У Вас проблема в галимом контенте.

Хотите дольше жить ставьте паузы и закрывайте доступ к плохому контенту\ресурсу.

Но если для бота урл окажется недоступным будет проседание позиций.

Если где-то есть ссылка на контент - он его найдет, проверит игнорируя все запрещающие теги.

Редирект ссылки с главной, без карты сайта, наверное дольше всего проживет.

Пользователи google chrome могут рассказать о урлах.

Всем спасибо за советы, дальше постараюсь разобраться сам.