Помощь в фильтрации ботов через CloudFlare

Напишите в двух словах принцип.

И два вопроса:

1)Как вы отличаете бота, который перешел из ПС?

2)Как вы его блокируете? Там же 1000 разных IP и сотни AS сетей.

Нет, этот форум не внёс никакого вклада в это решение, скорее наоборот, никаких даже намёков не будет. Ничего личного. Ботов из поиска отличать можно, но CF в этом никак не поможет.

Какой смысл тогда в вашем предыдущем сообщении? Типа: я знаю способ, но никому-ничего об этом не скажу, сами мучайтесь.

Сделайте первый шаг, внесите что то полезное, возможно и другие подключаться - общими силами какое то эффективное решение получится сделать.

Я в ноябре 2022, когда озадачился борьбой с ботами, нашел на vc инструкцию от Зимина по настройке CF, начал на нее ссылки тут отставлять, после этого уже появились темы по настройке CF.

До этого тут на форуме многие советовали настроить CF, но как это сделать самому никто, никакого примера не оставлял.

На платном тарифе точно можно сделать так, у меня реализовано две капчи (гугл, потом клауда) на некоторых проектах.
На бесплатном скорее всего тоже можно, условно сделать через PHP проверку только в обратку, условно сначала капча клауда, потом проверять редирект (у клауда есть URL который после успешного решения появляется), и вот на этом этапе отловить переход и выводить гугл капчу. Но это только теория.

Лучше конечно разобраться в Ваших правилах и предложить другие варианты защиты тем же клаудом.

Боты из поиска смотрятся по анализу метрики и логов сайта - сопоставляете отказы, сети, вебвизор и блочите.

Потом это растаскивается под видом уникального продукта другими людьми и все, труд обесценивается. Здесь как минимум на форуме есть три ветки по ботам, клауд и не клауд, все блочится на анлизе данных, почитайте ветки полностью, да это долго и скучно, но если хотите сами обучиться, то так.

1. Да, смысл именно в этом. Дал информацию, что способ есть и это не внешние сервисы. 

2. Мне это не нужно. Когда было желание найти общее решение, тут других желающих не нашлось. Написал, что принцип решения тут проскакивал, это максимум информации, которой я считаю нужным поделиться.

Я собрал более 100 AS сетей с которых идут боты.

Все проверки CF значительная часть этих ботов обходит. Блокировать полностью AS не вариант, т.к есть крупные мобильные и инет провайдеры, по IP тоже не получится, т.к адресов могут быть тысячи.

Что тут можно сделать клаудом?

Ставить еще одну проверку, после проверки CF, тоже так себе вариант. Проще тогда вместо CF попап при загрузке сайта поставить и загружать метрику только тем, кто на кнопку на попапе кликнул.

Все ветки про ботов описывают блокировки прямых заходов, реф спама и переходов по ссылкам.

Рабочего варианта борьбы с ботами из ПС пока никто не предложил.

Умничать - это, конечно, хорошо. Мол я умный и знаю как побороть ботов,но никому не скажу. Но многие ли на данном форуме являются именно программистами?  Вот я им не являюсь. Могу только взять чужой код и попробовать как-то изменить под свои нужды. В моём случае CF, отсекающий хотя бы 70-80% ботов, является не таким уж и плохим вариантом, ну или вариант с htaccess тоже как вариант, но блокировку по ASN он не поддерживает. Если владеете нужными знаниями - установите цену и продавайте их, как владелец антибота.

Теперь анализируйте эти сети, где хостинги, где провайдеры. Потом анализируйте метрику, отказы и другие данные. Я же Вам условно не дам набор правил, который будет идеален для всех. Да есть общие гайды, общий набор. Но условно: Вы блочите бегет, а на этом бегете у Вас сео сервис, которыми Вы пользуетесь. Тоже самое можно сказать про платежные системы. А крупных провайдеров и не нужно блокировать полностью, изучите метрику с вебвизором и поймете куда ходят боты крупных провайдеров.

Все автоматизировано и не рандомно, у всего есть свой порядок, изучайте свой сайт.

Хотите помощи? Бесплатно? Дайте больше данных, сайт в студию, открытый доступ к метрике, Вам подскажут. То что Вы нашли 100 ASN спамных, толку то?
Вы не знаете какими правилами их блокировать, а мы не знаем что за ресурс у Вас и какой вид ботов.

Кто в здравом уме будет тратить время на анализ Вашего сайта и логов - бесплатно? Только Вы. Поэтому изучайте форум. Уникальной таблетки для всех нет.
Все ломается, все обходится. Сегодня заблокали одних, завтра пришли другие. Это бизнес.

Уже все проанализировано, но это никак не решает проблему.

Куча ботов например идет с сетки - AS12389 Rostelecom или AS8359 MTS PJSC или AS8402 PVimpelCom.

Что с такими вы предлагаете делать?

Если внимательно посмотреть метрику, с Ростелекома идут не только из этой сети, есть еще 2 сети, одна прям называется Краснодар. Эти боты идут на определенный URL`ы и каждый день посещают одно и тоже,  делаете фильтровку в метрике (прямые заходы, местоположение краснодарский край, можете еще отказы добавить, что у Вас получилось? Покажите скриншот?)

Тоже самое с другими сетями, ну покажите метрику, на крайний случай в напишите лично (не кусаюсь)  и я гляну, подскажу.