ArmenDomain

ClaudeBot и Amazonbot самое зло, обязательно убивать.  Applebot и PetalBot можно не трогать.

не верю. Может в настройках сервера что-то прописали или пачкой плохие ip в бан, но не через htaccess

Понимаю, что кругом у всех посещаемые сайты где минута простоя стоит бешеных денег и им нужна стабильность и защита от настоящего ддоса. А нам, простым вебмастерам, которым важны позиции в Гугле и каждый новый посетитель, приходится работать по старинке.  Достаточно знать основы работы сервера что бы обходится без прокладок, которые возможно сами и ддосят привлекая новых клиентов. Уже до чего дошло что некоторые хостинги вместо того что бы решать проблемы с нагрузкой сразу предлагают переходить на CF.

а Amazonbot где?

Блокируем всех:

Order Allow,Deny
Allow from all
Deny from env=search_bot

или выборочно:

SetEnvIfNoCase User-Agent "^Боткоторыйнадозакрыть" search_bot

самопис!  Просто и надежно.

ести трехзначный буквы-цифры выброси, такое запомнить невозможно. Короче новый домен и по теме нужен.

наверное самая трастовая зона была, очень жаль. Сам прецедент настораживает, и вообще показывает как хрупок интернет.

заблокировал Яндекс в robots, если продолжит сканировать напишу.

Например такие IP где вместо X любые цифры от 1-999 десятки тысяч в день: 5.255.231.X, 87.250.224.X

 - - [13/Nov/2023:14:21:13 +0300] "GET /name/84109 HTTP/1.0" 200 21396 "-" "Mozilla/5.0 (compatible; YaDirectFetcher/1.0; +http://yandex.com/bots)"
 - - [13/Nov/2023:14:22:28 +0300] "GET /name/10569 HTTP/1.0" 200 21805 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
 - - [13/Nov/2023:14:24:44 +0300] "GET /name/78066 HTTP/1.0" 200 21257 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
 - - [13/Nov/2023:14:26:11 +0300] "GET /name/13858 HTTP/1.0" 200 22139 "-" "Mozilla/5.0 (compatible; YandexBot/3.0;

на первом ничего бы не покупал, цен не видно, дизайн страшный, похож на статейник. Второй норм, но hd в названии как "смотреть фильмы в HD"