Всем доброго времени суток!
Тоже настраивал фильтрацию ботов через CloudFlare по видео и статье Ивана Зимина. Возникает следующая ситуация: если включить третье правило ( Блокировка трафика из протокола HTTP1.1, код (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (http.referer eq "")), то при проверке модуля Яндекс.Маркет в админке сайта (сайт на Битрикс), с помошью которого создаются фиды для Поиска по товарам в Яндексе, выдаёт ошибку и в Вебмастере потом эти фиды блокируются. Также, если при включенном третьем правиле проверить любую страницу сайта в сервисе https://bertal.ru/, то код ответа 403, т. е. заблокировано. Выключаешь это правило, модуль Яндекс.Маркет не выдаёт ошибку и в сервисе https://bertal.ru/ код ответа - 200.
Может кто-нибудь сталкивался с подобной ситуацией и может подсказать что надо написать в этом правиле? И вообще нужно ли это правило или можно обойтись без него?
По умолчанию все боты, кроме Known Bots блокируются. Запустите ваш сервис и после этого найдите этот визит в разделе WAF->Events.
Если сервис добавляет свое название в user agent, то в исключении добавляете проверку на вхождение названия, как для mail_ru сделано.
Если по User agent никак не идентифицировать, то сделайте исключение на AS сеть или IP.
Для Яндекса нужно добавить в исключения сети: 13238 и 208722.
Т.е есть нет смысла если таких страниц сотни? Не добавлять же каждую в правила и сидеть днями и вычислять такие страницы
У ботфактора такое есть. Не больше 1 клика в сутки с ip. Но у них платно. Хотя есть вроде бы бесплатно что-то для теста.
Нашел "дыру" для ботов которые идут через прямые заходы.
В статье на vc.ru, в правиле настроена проверка на пустого реферера, а у каких то ботов в этом параметре стоит полный url посещаемой страницы: https:// domain.com/category/page-1
Cloudflare такой визит не проверяет, а в метрику он подгружается как прямой заход.
Правило с IPV6 выключите. А HTTP/Direct поставьте проверку Managed Challenge.
Еще посмотрите в метрике, какие популярные страницы входа. Если большая часть идет на какие то конкретные внутренние, то создайте новое правило, где запретите доступ к этим страницам с пустым реферером.
Так же под полную блокировку сразу ставьте битерику - 35048.
Еще посмотрите в вебвизоре, с каких сетей идут прямые заходы. Если какая то не крупная сетка, то можно ее заблокировать на директ трафик. Если крупная, но с IPV6, то можно сделать блокировку по условию AS+пустой реферер+проверка что IPV6.
В общем нужно проанализировать и что то еще дополнительно вручную отфильтровать.
ТС может быть не в курсе, что клик по рекламе засчитывается в случае даже когда сайт не загрузился.
Так что помимо блокировки в самом директе, никаких других вариантов нет.
ровно такие же как в по ссылки что я указал выше
Легче капчу выдавать прямым заходам, так как лично у меня при Managed Challenge они идут во внутренние переходы, а при капче, все пучком.
Как на капче и Managed Challenge могут расти внутренние переходы, т.к проверка показывается абсолютно все.
В Managed Challenge система сама выбирает кому выводить проверку и какую, кому то она вообще не показывается.
