Помощь в фильтрации ботов через CloudFlare

Добрый день.

Попёрли боты с США и Канады. Попёрли так что адсенс отключил рекламу в связи с подозрительным трафиком. В cloudflare включил функцию режим боя с ботами. Всё как бы хорошо, вредные боты пропали, но при этом получил запрет посещения сайта и боту адсенс. Попытался создать правило разрешающее ему сканирование по инструкции ниже, не помогло. Что посоветуете ?

Шаги для добавления исключения бота Google AdSense в новой панели управления Cloudflare:

1. Войдите в аккаунт Cloudflare: Перейдите на сайт Cloudflare и войдите в свой аккаунт.

2. Выберите нужный сайт: В панели управления выберите сайт, для которого хотите настроить исключение.

3. Перейдите в раздел "Security": На боковой панели выберите "Security", затем перейдите в "WAF" (Web Application Firewall).

4. Создайте исключение через "Custom Rules":

   • Внутри "WAF" выберите вкладку "Custom Rules".
   • Нажмите кнопку "Create Rule".

5. Настройте правило для бота Google AdSense:

   • В поле "Field" выберите User Agent .
   • Установите оператор "contains".
   • Введите значение "Mediapartners-Google" .

6. Установите действие для правила:

   • В разделе "Action" выберите "Allow" (разрешить).

7. Сохраните правило: Назовите правило, например, "Allow Google AdSense Bot", и сохраните его.

Бесплатный тарифный план. 

Привет  парни. Такой вопрос.

Сегодня включил Клаудфлейр. К обеду сделал настройки.  Как то между делом смотрю в Метрике-нулевой заход отказ. Смотрю лог, там реферера нет. Думаю засуну под капчу. Проверяю айпи, мне показывает США, организация Клаудфлейр. Но айпи не моего домена. И  подсеть другая.

Это что за фигня? Просто совпадение? А что такое боты CF, они что делают? Не товары же мониторят?

потом к вечеру еще увидел заход, который не понравился. Смотрю айпи, тоже Кдаудовский. По всем заходам айпи конечно не смотрел. Но как то странно. До включения Клауда их айпи в заходах не наблюдал. Да у меня и статистика маленькая, мало трафика.

Сегодня после  включения Клауда и боты Apple какие то появились.

Да есть такое дело, когда подключаешь сайт к клаудфлару начинает идти больше некоторых ботов. Но в основном технически примитивных и особо не мешающих.

Также изза появления ipv6 может начать наваливать много поведенческих ботов.

Уу, их тут немало. Все с разным айпи, но подсеть одна  162.158.0.0/15. и все не пустой реферер.

Также в Метрике посетитель, типа из Директа. В логе этого не видно. В статистике самого Директа и в Метрике в отчете  Директ сводка этого тоже нет. Нахожу в логах его, айпи Клаудфлейр -  172.64.0.0/13

контент сайта отдают посетителям

Парни, а можно сделать вот такое правило - пустой реферер + (ASN или IP) ?

Я бы после ASN добавил or IP, но поймет ли система правильно? По ситуации чтобы либо всю систему колотить, либо только ее часть.

не блокируйте сеть ASN 13335 - это клауд, обычно я добавляю ее в исключения.

нет. Что Вы такими действиями преследуете? Можете посмотреть кодовый синтаксис и попробовать сохранить написанный результат.

А Вам какая разница, если клауд это проверяет? сделайте первым правилом проверку на пустой реферер и айпишки, а потом и на пустой и ASN (и вообще раздельно, если нужно для логирования)