Засилие ботов на сайте

Я бы не рекомендовал кого-то из поиска банить

Да, очень не хочется этого делать, это как себе в ногу стрельнуть…

Вы только учтите, что статья там несколько устарела, правила в  Cloudflare сейчас изменены и выглядят немного иначе.

Но как ориентир, эта статья не плохая, только применять рекомендации нужно обдуманно, а не копипастом из статьи.

И еще, там первым правилом советуют ставить "Good Bots", по которому  Cloudflare пропускает всех ботов, которых считает хорошими.

Это немного не верно, так как "хорошими"  Cloudflare считает много лишнего, в том числе всякие краулеры, типа: Ahrefs,  SEMRush и прочих ботов, через которые конкуренты чекают ваш сайт или зарубежные боты, которые запросто положат ваш сервер при сканировании.

Первым правилом лучше ставить "Bad Bots", где через User agent вы отсеете всех ботов, которые вам не нужны.

А уже вторым правилом ставьте  "Good Bots" и в нем включайте "Known Bots"  Cloudflare.

И самое главное, отключайте IPV6 на  Cloudflare и на сервере - сразу отсеете кучу хлама.

У меня боты на 95% IPv4. После фильтрации прямых заходов, они все так и продолжают ломится, что видно в статистике CF.

По поводу подмены реферера Яндекса в запросе, как то странно получается. У них наверное должны визиты сопоставляться, когда переход идет из поиска. User agent из поиска и User agent, который метрика разбирает.

И еще прогревающие боты по куче сайтов ходят, переходя из поиска, чтобы нагулять статистику, а в вашем случае сразу идут на сайт. Не понятен смысл таких переходов.

Уже.

Накрутчики в принципе сбивают сайтам всю статистику по целевой аудитории. Правильно тут више писали - у сайта по женским средствам гигиены целевая аудитория мужики за 40 :(

Я для борьбы с ботами сам себе сделал файрвол, который с помощью рекапчи 3 и 2 и некоторых других методов фильтрует ботов и всякую шушеру. Работает довольно эффективно. Но опять же рекапча не бесконечная.