Как вы боретесь с ботами?

Опишу наш кейс. После того как лег Clouflare в РФ на сайтах с защитой от DDos Guard вырос ботный трафик. Со второй недели июля логи сайтов увеличились в 3 раза, нагрузка на сервера и базу данных аналогично. Хотели как обычно блокировать подсетями вручную - посмотрели логи, оказалось, что это вначале 200, потом 400, потом 600, потом 1000 онлайн ботов с разных IP адресов Южной Америки и Африки.

Написали в техподдержку сервиса, где заказывали защиту DDos Guard, ответили, что защита DDos Guard - защищает от DDOS-атак, а от ботов надо использовать другие сервисы и дали ссылку на статью для самостоятельно изучения вопроса. Вообщем, послали нафиг. Но через 24 часа все эти боты исчезли - испарились. Видимо, продублировали обращение в DDos Guard и там решили проблему.

Эти товарищи бота Яндекса раньше блокали.

Надеюсь, там хотя бы кто-то с руками из плеч завёлся у них в штате.

Отключите access_log логируйте только нужное а не все подряд, например 4хх и 5хх ответы, чтобы понимать что происходит, я вообще из 4хх логирую только 429 чтоб ловить IP тех кто упирается в мои ограничения, делал для отлова попадания поисковых ботов туда, так как трафика от поисковиковых ботов в разы больше чем от юзеров или каких то других ботов

Вот отчет за 5 минут, первый гугл, второй яндекс,  а уже дальше пошли ростелекомы, мтс, билайн

Ну так блокируйте странами, у меня в блоке Азия практически вся, и Южная Африка вся, там нет не VPN нет ни клиентов для РФ бизнеса

Но это не точно =) Я тоже у ddos-guard не увидел какой то защиты уровня l7 хотя у них заявлено вроде как даже

Проходили, в DDos Guard отличные маркетологи, колеблющиеся потенциальные клиенты прогреваются DDoS'ом, после нажатия зеленой кнопки "Попробовать бесплатно".

если вы не понимаете разницу понятий антибот и антиддос - не нужно позориться ))

cloudflare это антиддос, killbot также проксирует сайт и является чем то средним между антиддосом и антиботом. антибот это антибот (но это php скрипт), он совсем не антиддос. определитесь что именно вам надо.

Кто в теме, просветите, пожалуйста, по поводу скриптов, которые прячут от ботов счетчики. Например, есть довольно популярный вариант от команды pixelplus, но он разработан еще в 2021 году. Насколько сейчас актуальна тема с подгрузкой счетчика после клика по кнопке? Насколько я знаю, боты давно научились нажимать на кнопки.

большинство ботов поведенческих не нажмут.

Капча от CF как то мало похожа на антидос, больше на антибот =)) ну и по каким же критериям легитимному пользователю показалось 2 капчи?

Для начала, половина ботов эти счетчики дергает напрямую для того же рефспама, например. Им даже страница не нужна.

Ну а потом, можно взять любую нейронку и просить сделать загрузку счетчика с задержкой, после движения мышкой или нажатия на кнопку. Не думаю, что это проблема.

Но смысл вообще прятать ботов от ПС?

Но клаудфлар от этого не перестал быть антиддосом, не зависимо от того что вам кажется.