Нашествие ботов из США

Нашествие разных ботов происходит 24/7 на большинстве сайтов. Кто-то их фильтрует, кто-то забивает на это.

Список нет универсальных. Анализируются сайт, запросы и фильтруются.

Проблема в том что после блокировки идут новые, так же из США

Придется потратить время)))

Спам идёт с американских хостеров, Амазон и Гугл Клауд.

Не ленись ))

Волшебной кнопки, как и волшебных списков злых ботов, не существует в природе, все индивидуально и для каждого сайта, и в целом сегодня лезут одни, завтра другие. В вашем случае просто банить диапазонами или подсетями хостинги.

а вы их не блокируйте ответом 403, а сделайте какую-нибудь почти пустую страницу с надписью "привет, мир" и перенаправляйте на неё кодом 302.  пусть лучше в неё долбят, чем видя 403 идут к вам с другого ip

В нулевых бы я такой трафик направил бы на какой-нибудь скрипт букса и продавал бы по пол-копейки за пучок для накруток посещаемости. Тогда многие именно так промышляли, начиная с незабвенного uCoz и до многих, промышлявших в то время, агрегаторов накрутки.

смотреть логи, банить, и там пока не поможет.

Вычленяй типичные IP, проверяй WHOIS, спрашивай ИИ - они знают каким компаниям принадлежат. Проси составить маски для бана их подсетей - тоже легко сделают. Это проще всего.

/13 так просто не забанишь. Это огромная подсеть.

Если не нужно ничего кроме гугла ботов, PageSpeed и ботов из консоли при отправки на индекс. Можно по гео закрыть США и оставить нужное от туда. Работает норм, ботов своих IP гугл предоставляет. Работает очень не плохо способ, потом можно вернуть все как было. Не долго держаться при таком запрете боты. Можно в белые добавить и Bingbot, Applebot, DuckDuckBot и GPTBot, IP предоставляют.