а Amazonbot где?
Блокируем всех:
Order Allow,Deny Allow from all Deny from env=search_bot
или выборочно:
SetEnvIfNoCase User-Agent "^Боткоторыйнадозакрыть" search_bot
Здравствуйте. Уточните, пожалуйста, информацию о ботах, о которых идёт речь. Пришлите скриншот, отчёт на статистику, название ботов. Это поможет детально проанализировать ситуацию. Можно в лс. Посмотрю с командой и вернусь.
Например такие IP где вместо X любые цифры от 1-999 десятки тысяч в день: 5.255.231.X, 87.250.224.X - - [13/Nov/2023:14:21:13 +0300] "GET /name/84109 HTTP/1.0" 200 21396 "-" "Mozilla/5.0 (compatible; YaDirectFetcher/1.0; +http://yandex.com/bots)" - - [13/Nov/2023:14:22:28 +0300] "GET /name/10569 HTTP/1.0" 200 21805 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" - - [13/Nov/2023:14:24:44 +0300] "GET /name/78066 HTTP/1.0" 200 21257 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" - - [13/Nov/2023:14:26:11 +0300] "GET /name/13858 HTTP/1.0" 200 22139 "-" "Mozilla/5.0 (compatible; YandexBot/3.0;
Если бы был конкурс на худший домен то Серч бы занял бы второе место, первое взял бы search-engines.guru 😀