Помощь в фильтрации ботов через CloudFlare

Отлично! Благодарю за ответ!

Собственно написал в вебмастер на всякий случай параллельно, получил стандартную отписку:

"Вам не нужно дополнительно защищать ваш сайт.Мы знаем о разных типах поведения злоумышленников и стараемся обучать алгоритмы так, чтобы внешние факторы не влияли на позиции сайта. Если ваш сайт полезен и удобен для пользователей и вы не используете техники продвижения, направленные на обман поисковых систем, — всё будет в порядке."

думаю, что это не специально сделали, а перемудрили с настройками сервера под мобильной и десктопной версиями и теперь выскакивает ошибка

Не долго я радовался отсутствию ботов, опять попёрли, проверка JS и Managed challenge по Ноу реф трафику уже не помогает, боты как то прорываются

Настраивали и не пробовали открыть на десктопе?
На мобильном настраивали?

Ещё обнаружил, что не все реальные ip в лог идут, например попадаются вот такие 104.28.254.132, 104.28.211.189, 104.28.197.14, 104.28.254.134, 104.28.205.70, 104.28.42.21 и т.д, все проверил это ip CF, но они по идее не должны попадать в лог, в конфиге nginx прописаны актуальные ip адреса подсетей со страницы https://www.cloudflare.com/ru-ru/ips/
Можно было бы забить, но у меня limit_req zone настроен в связке с fail2ban и если кто то начнёт шалить с такого адреса, то адрес cf в бан попадёт и если кто то другой с него будет заходить уже не сможет попасть на сайт, возможно как раз с этим и связаны лаги которые я иногда стал замечать.
А для пустых рефереров решил поставить Interactive challenge, надеюсь поможет и закладочники не сильно пострадают.

CF боты иногда заходят что-то проверяют, например валидность ssl или скорость загрузки сайта
почему они не должны попасть в лог?

Interactive challenge не помогло, пришлось жестко заблочить всю AS207728 EUROHOSTER, надеюсь там людей нет, блочить ip по отдельности, это борьба с ветряными мельницами, только блочу, как он под другим ip заходит из этой же подсети.

По этому поводу у меня другое предположение, раньше в списке подсетей был адрес: 104.16.0.0/12 удален из ips-v4, 104.16.0.0/13 добавлен в ips-v4 (8 апреля 2021), тот который с маской 12 как раз включал диапазон 104.28.*.*

это сетки проксей, зачем их использовать?
у меня настройки попроще
для логирования реальных IP:

set_real_ip_from 0.0.0.0/;
real_ip_header CF-Connecting-IP;

для защиты от прямых заходов:

map $http_cf_ray$http_cf_connecting_ip $cf_headers_present {
        default 0;
        "~." 1;
}

По поводу блока ASN, тоже так делаю, причем все сетки с типом hosting сразу идут на полный блок, без всяких challenge
как минимум это увеличивает себестоимость накруток через мобильные прокси

кстати с этого топика спарсил сетки, но их надо тщательно проверить, ибо там есть норм сети, может кому пригодится:

3175
3216
6697
8359
12389
12714
12958
13618
14061
14618
15378
15640
16276
16345
16509
20453
23033
24940
25159
29124
29182
29497
31213
31224
31133
31163
32934
34411
34665
35048
35807
39655
39811
41330
41344
41733
42116
42437
43761
44812
45027
45027
47395
47524
47764
48061
48092
48190
48282
49492
49505
50113
50241
50340
52207
56407
60389
64432
198610
200197
201123
204490
204916
206766
207713
207728
211027
213220