Помощь в фильтрации ботов через CloudFlare

vashfreelancer
На сайте с 24.10.2023
Offline
27
#961
Dadhy #:

Всем привет.  После того, как подключил CF,  мне на почту перестали приходить письма о поступлении новых заказов с моего сайта. Выяснил, что это робокасса перестала присылать ответ о заказе, на основе которого я рассылал письма админу и клиенту. Я отключил проксирование почтовых серверов в настройках DNS, вроде помогло, пару писем пришло, затем опять перестали.

Я добавил пул адресов робокассы в список и для этого списка сделал SKIP по всем параметрам: (ip.src in $robokassa_ip_list). Вижу что CF стал пропускать айпишники, вижу что робокасса делает POST запрос на мой сайт и мой сайт возвращает OK.

Однако ответ OK совершенно не такой как был раньше и в ответе видно, что подгружается какая то проверка от CF.  При этом вроде ОК есть, но письма о заказе все равно не формируются. Подскажите куда копать? 

В правилах с manage challenge  вот так: (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"} and not ip.geoip.asnum in {13238} and not ip.geoip.asnum in {208722}) or (http.referer eq "" and not ip.geoip.asnum in {13238} and not ip.geoip.asnum in {208722}) or (not ssl and not ip.geoip.asnum in {13238} and not ip.geoip.asnum in {208722}) or (cf.threat_score ge 5)


Прикрепляю два скрина.

1 скрин - лог с робокассы с нормальным ответом с моего сайта, при котором скрипт формирует и рассылает письма о новом заказе.

2 скрин - лог после подключения CF

Попробуйте пропускать запросы (выше правила старых протоколов), которые содержат:

(http.request.uri contains "out_summ")

В крайнем случае Вы можете посмотреть правила блокировки и капчи (логи клауда и найти какой запрос отправляется и блокируется) там будет Path который содержит что то типо того что Вы скинули, ищите по содержанию out_summ 


{"HTTP/2" "HTTP/3" "SPDY/3.1"} - скорее всего запрос идет по старому протоколу  (например по HTTP 1.1 и идет автоматическая проверка. Тут или вариант выше или исключение запросов в это правило.
Во вкладке Events можете посмотреть все логи или сделать нужную фильтровку и посмотреть почему и по какому правилу идет блокировка.

Защита сайта от ботов - накрутки ПФ, роботность, DDoS, Cloudflare ДДос - https://vashfreelancer.com
RS
На сайте с 05.05.2023
Offline
10
#962
Vitaly73 #:
Подскажите, я не программист, в этом мало разбираюсь, как поставить в исключения сети 13238 и 208722

Можно зайти на вкладку Tools и там  поставить в исключения сети 13238 и 208722, либо в самом правиле (на скриншотах).

jpg 2023-12-26_13-06-55.jpg
jpg 2023-12-26_13-16-36.jpg
V7
На сайте с 22.12.2023
Offline
0
#963
RomarioSpirtberg #:

Можно зайти на вкладку Tools и там  поставить в исключения сети 13238 и 208722, либо в самом правиле (на скриншотах).

Спасибо

V7
На сайте с 22.12.2023
Offline
0
#964
vashfreelancer #:

Решение есть, предоставлял как минимум 2 раза пример на этом форуме. 

Спасибо, по переходам по ссылкам помогла блокировка доменных зон, даже не пришлось отключать сертификат на хостинге

V7
На сайте с 22.12.2023
Offline
0
#965
sagamorr #:
Это боты идущие из поиска Яндекса, не подмена реферера.  В метрике они как юзеры определяются. Но по поведению, по ключам, по CTR - это 100% боты.

Эти тоже есть в небольших количествах, по ним есть какое-либо решение?

V7
На сайте с 22.12.2023
Offline
0
#966
sagamorr #:
Ищите в этой ветке и похожих, уже по много раз обсуждалось.

А вот отключить ipv6 принудительно через api CF не получилось, ввожу в командной строке:

C:\Users\user>curl -X PATCH "https://api.cloudflare.com/client/v4/zones/ЗОНА/settings/ipv6"\ -H "X-Auth-Email:ПОЧТА"\ -H "X-Auth-Key: ТОКЕН"\ -H "Content-Type: application/json"\ --data "{\"value\":\"off\"}"

выдает:

{"success":false,"errors":[{"code":7003,"message":"Could not route to \/zones\/ЗОНА\/settings\/ipv6\\, perhaps your object identifier is invalid?"},{"code":7000,"message":"No route for that URI"}],"messages":[],"result":null}

V7
На сайте с 22.12.2023
Offline
0
#967
Vitaly73 #:

Спасибо, по переходам по ссылкам помогла блокировка доменных зон, даже не пришлось отключать сертификат на хостинге

Вот только и переходы с турбо-страниц на сайт тоже  теперь блркирует CF. Что можно сделать?

impossible
На сайте с 12.01.2008
Offline
209
#968

Незнаю обсуждали этот момент или нет, но заметил что CloudFlare пропускает  AhrefsBot, т.к. он у них входил в группу KnowBots

Вот такое решение:

Known Bots | equals | On
And
User Agent | does not contain | AhrefsBot

Далее в правиле блокировки по User Agent добавляем  AhrefsBot для блокировки. 

Ну или прописываем в robots.txt disallow для этого бота 😂

Анти ДДОС
На сайте с 14.03.2020
Online
66
#969
impossible #:

Незнаю обсуждали этот момент или нет, но заметил что CloudFlare пропускает  AhrefsBot, т.к. он у них входил в группу KnowBots

Вот такое решение:

Known Bots | equals | On
And
User Agent | does not contain | AhrefsBot

Далее в правиле блокировки по User Agent добавляем  AhrefsBot для блокировки. 

Ну или прописываем в robots.txt disallow для этого бота 😂

Если присмотреться к логам KnowBots, то там не только AhrefsBot, но еще целая пачка всякого разного непонятного и не нужного. От сайта к сайту, если не считать ашрефс семраш и проч, чуть отличается. Т.е. указанным вами методом можно не один парсер как в примере, блокануть, а много разных.

Настройка Cloudflare, поведенческие факторы, АнтиБот, ДДОС, Biterika Rostelecom прямые переходы https://antiddos24.ru
V1
На сайте с 14.03.2007
Offline
146
#970
impossible #:
Далее в правиле блокировки по User Agent добавляем  AhrefsBot для блокировки.

Если количество правил позволяет, то можно это поставить первым правилом и тогда не нужно будет 2 раза прописывать.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий