Помощь в фильтрации ботов через CloudFlare

Так это легко проверить, но нужны навыки программирования. Возьмите Ip диапазоны главной ботной помойки - Битерика, все заходы с этой сетки сохраняйте в отдельную таблицу, в итоге все заходы будут с пустым реферером. Данный анализ проводил год назад при трафике 20к/сут., хотя может сейчас что-то изменилось.

Я писал про спам из поисковых систем, причем тут директ трафик???

Битерика уже год назад полностью заблокирована.

Спам по поисковым запросам занес в таблицу, там более 100 разных AS сетей по всей России. Где есть моб провайдеры и хостинги.

Прочтите внимательней, ботные помойки не используют подмену реферера на поисковый трафик, только директ, так было год назад.  Сейчас  ситуация не изменилась, показатели в метрике в норме, на остальное пофиг...

Это боты идущие из поиска Яндекса, не подмена реферера.  В метрике они как юзеры определяются. Но по поведению, по ключам, по CTR - это 100% боты.

Добрый день. Подскажите, как можно заблокировать ботов? В htaccess заблокирована Биттерика. В CF вот такие правила:

1.    Белые боты - Skip

  (cf.client.bot) or (http.user_agent contains "Mail.RU_Bot") or (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") or (ip.src eq мой айпи хостинга)

  2.    SSL/IPV6 - Block

(ip.src in {::/0} and not ip.geoip.asnum in {13238}) or (not ssl and not ip.geoip.asnum in {13238})

  3.    HTTP2+ - Block

(not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"} and not ip.geoip.asnum in {13238}) or (http.referer eq "" and not ip.geoip.asnum in {13238})

  По этим 3 правилам CF блокирует больше 2000 ботов в сутки. Есть еще правило 4 блокировать парсеры и правило 5 блокировать по странам, но за неделю ни одного заблокированного бота нет.

Не заблокированные боты заходят по ссылкам с других непонятных сайтов, по крайней мере такое показывает метрика, и она их считает реальными людьми. Но никаких ссылок на сайт на других сайтах быть не должно, и в вебмастере их нет. Реальные люди приходят на сайт только из поиска яндекса, но сейчас сайт скатился на вторую страницу в поиске и реальных посетителей 30-40 в сутки, а ботов по ссылкам 150-200, в итоге отказы примерно 10%, среднее время на сайте меньше минуты. Получается, что CF блокирует больше 2000, но все равно эти 150-200 содают печальную картину.

На 1 скриншоте боты как юзеры, это данные метрики без роботов. На скриншоте 2 в CF в это время вообще не было этих посетителей, в СF только те, кого он заблокировал. CF почему-то не видит этих посетителей вообще. Бред какой-то. Что можно с этим сделать? Как их можно заблокировать?

1. Убираете проверки по user agent (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") и ставите в исключения сети 13238 и 208722.

2. Второе правило отключайте. Если хотите убрать IPV6 на сайте, то лучше отключите принудительно через api CF.

3. В третьем правиле я оставил проверку только пустого реферера, остальное считаю не актуальным.

По переходам по ссылкам на сайтах, рабочего решения нет. Можете посмотреть IP и AS сети эти визитов, если их не очень много, то добавьте эти сетки и IP в третье правило.

Подскажите, я не программист, в этом мало разбираюсь, как поставить в исключения сети 13238 и 208722 и как отключить IPV6 через api CF? 

Переходы по ссылкам в основном из этих сетей: Metropolitan branch of PJSC MegaFon, JSC Rostelecom . Korporativniy Centr, YOTA - Moscow and Moskovskaya obl., North-West Branch of OJSC MegaFon Network, Mobile subscribers pool, Beeline-Moscow GPRS Firewall, Mobile TeleSystems, OJSC, MR North-West, но больше всего из первой в списке - Мегафона. Но с этой сети и реальные пользователи из поиска приходят.

Кждый день пара ботов из Германии с этой сети Hetzner Online GmbH заходят, как заблокировать эту сеть?

Ищите в этой ветке и похожих, уже по много раз обсуждалось.

Всем привет.  После того, как подключил CF,  мне на почту перестали приходить письма о поступлении новых заказов с моего сайта. Выяснил, что это робокасса перестала присылать ответ о заказе, на основе которого я рассылал письма админу и клиенту. Я отключил проксирование почтовых серверов в настройках DNS, вроде помогло, пару писем пришло, затем опять перестали.

Я добавил пул адресов робокассы в список и для этого списка сделал SKIP по всем параметрам: (ip.src in $robokassa_ip_list). Вижу что CF стал пропускать айпишники, вижу что робокасса делает POST запрос на мой сайт и мой сайт возвращает OK.

Однако ответ OK совершенно не такой как был раньше и в ответе видно, что подгружается какая то проверка от CF.  При этом вроде ОК есть, но письма о заказе все равно не формируются. Подскажите куда копать? 

В правилах с manage challenge  вот так: (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"} and not ip.geoip.asnum in {13238} and not ip.geoip.asnum in {208722}) or (http.referer eq "" and not ip.geoip.asnum in {13238} and not ip.geoip.asnum in {208722}) or (not ssl and not ip.geoip.asnum in {13238} and not ip.geoip.asnum in {208722}) or (cf.threat_score ge 5)

Прикрепляю два скрина.

1 скрин - лог с робокассы с нормальным ответом с моего сайта, при котором скрипт формирует и рассылает письма о новом заказе.

2 скрин - лог после подключения CF

Решение есть, предоставлял как минимум 2 раза пример на этом форуме.