Помощь в фильтрации ботов через CloudFlare

Та не слушай, он показывает таки как бесплатный безголовый браузер типа phantomjs или selenium выполняет накрутку ботами.

Ничего он не спарсит такими браузерами, будет куча ошибок. Потом голову ломать, что спарсило а что нет.. Панты, такие панты..

Есть софт покруче, но он денег же стоит.

Здравствуйте. В последнее время заметил, что на протяжении нескольких дней где-то в промежутке между 21:00 и 23:50 происходит резкий скачок заходов на главную страницу через "переходы с других сайтов". 

Метрика показывает, что все эти "люди" идут с ВБ, озона, Ламоды, Отзовика и прочих крупных площадок. В среднем сидят на сайте около 4 минут с глубиной просмотра в районе 1.5 страницы, отказы ниже 1%. При чем, все с ПК. Очевидно, что это кто-то нагуливает ботов.  Но как их отфильтровать? Я ставил в CF режим "Under Attack Mode" и тогда заходы прекращались. Но это постоянная капча, которая пользователей тоже отпугивает (даже не знаю пускает ли она ботов ПС). Может быть, кто-то сталкивался с этими заходами и знает как их заблокировать?

Можно по рефке капчу выдавать, но ее cf может не увидеть, т.к. рефка поддельная обычно. Мирика только видит.

в этом режиме CF  роботы поисковых систем тоже блокируются...

А как узнать AS этих ботов? У некоторых из них метрика выдает IP-сеть QWARTA. Я теперь пользователям этой подсети показываю JS Challenge, и действительно, в статистике заходов стало чуть меньше. Но остальные не палятся с этим.

А ваш способ попробую, спасибо.

Не знал об этом, спасибо.

IP проверить, https://www.whois.com/ для этого сойдет.

QWARTA можно смело в бан.

Два варианта:
1. Сделать логирование на referer тех сайтов, изучить полученные логи и заблокать сетки если они хостинговые.

2. Сделать капчу по принципу:
- 1 правило - Разрешаете referer google, yandex, ваши белые сайты, соц сети, скрипты и так далее (понятное дело что реферер можно подменить)
-2 правило ниже - Ставите капчу на все referer которые содержат https:// и не содержат Ваш домен.

это обсуждалось не раз

А что это за статистика такая?

И можно еще пожалуйста список всех плохих ботов типа ahrefs, semrash, gpt боты

Работает ли блокировка всех гпт ботов настройкой в клауде?

Ребята, от ботов отбиваюсь с помощью клауда, но с какой-то периодичностю лезут все новые.

Обнаружил такую проблемку, в ie11 сайт не открывается если заходить с закладки, отображается пустая страница "Just a moment..." проблема в промежуточной странице от CF, такое ощущение, что там вобще нет поддержки ie11, если отключить правило WAF (http.referer eq "") тогда сайт начинает открываться.