Возможно, это из-за этого.
Вам лучше ознакомиться с форумом разработчика - информации будет больше и из первых рук.
а в чем собственно проблема? что кто-то не продлил а виноват хостер?
как любой желающий может отправить страницу на удаление из поиска, если del-url доступен только к сайтам, добавленным в вебмастер?
Запустите команду архивации через screen и даже при потере связи она продолжит свою работу.
Советовать kubernetes для этих задач это сильно... :)
Достаточно парочки производительных VPS и настроить реплики со скриптами переключения и dns с api, все.
Или вон у MIRhosting взять jelastic - для начала будет самое то.
У нас управление Geo блокировок доступно и на бесплатном тарифе.
В дополнение к уже предложенным сервисам еще могу добавить
https://selectel.ru/services/additional/monitoring/
Как вариант, взять пример от сюда для nginx и переменную подмешать в proxy_cache_key
Достаточно работать с нормальным хостером, который все это умеет из коробки и не рассказывает сказки про уязвимости там, где их нет.
У нормальных защит от ботов всегда есть валидация поисковых роботов (в т.ч. от тех, кто поддельно представляется поисковиком) и пропуск легитимных в обход проверок.
В вашем случае можем порекомендовать проанализировать access логи, и если требуется - воспользоваться профильными сервисами защиты.
Надежнее проверять поисковые краулеры еще и по ASN, но стандартными средствами nginx этого уже не сделать.
