по итогу суток, удалось снизить на 14% сейчас кол-во прямых заходов 23% было в районе 37% до фильтрации, правда оно само по себе снизилось до того как я бороться с этим начал. По метрике за месяц 47%, т.е. оно само снизилось на 10% без каких либо действий.
Точно? Я что то вставляю прямую ссылку https:// domain.com/category/page-1 и сразу проверка идет капча, или я не так что то понял?)
Заранее спрошу) Вот так прописывать вы имели ввиду ниже в комментах рефер домена???
Попробовал поставить код правила: (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"} and not ip.geoip.asnum in {13238} and not ip.geoip.asnum in {208722}) or (http.referer eq "" and not ip.geoip.asnum in {13238} and not ip.geoip.asnum in {208722}), всё равно выдаёт ошибки и при проверке модуля Яндекс.Маркет и в https://bertal.ru/.
Нужно добавить в первое правило, где исключения.
Всем доброго времени суток!
Тоже настраивал фильтрацию ботов через CloudFlare по видео и статье Ивана Зимина. Возникает следующая ситуация: если включить третье правило ( Блокировка трафика из протокола HTTP1.1, код (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (http.referer eq "")), то при проверке модуля Яндекс.Маркет в админке сайта (сайт на Битрикс), с помошью которого создаются фиды для Поиска по товарам в Яндексе, выдаёт ошибку и в Вебмастере потом эти фиды блокируются. Также, если при включенном третьем правиле проверить любую страницу сайта в сервисе https://bertal.ru/, то код ответа 403, т. е. заблокировано. Выключаешь это правило, модуль Яндекс.Маркет не выдаёт ошибку и в сервисе https://bertal.ru/ код ответа - 200.
Может кто-нибудь сталкивался с подобной ситуацией и может подсказать что надо написать в этом правиле? И вообще нужно ли это правило или можно обойтись без него?
По умолчанию все боты, кроме Known Bots блокируются. Запустите ваш сервис и после этого найдите этот визит в разделе WAF->Events.
Если сервис добавляет свое название в user agent, то в исключении добавляете проверку на вхождение названия, как для mail_ru сделано.
Если по User agent никак не идентифицировать, то сделайте исключение на AS сеть или IP.
Для Яндекса нужно добавить в исключения сети: 13238 и 208722.
Т.е есть нет смысла если таких страниц сотни? Не добавлять же каждую в правила и сидеть днями и вычислять такие страницы
У ботфактора такое есть. Не больше 1 клика в сутки с ip. Но у них платно. Хотя есть вроде бы бесплатно что-то для теста.
Нашел "дыру" для ботов которые идут через прямые заходы.
В статье на vc.ru, в правиле настроена проверка на пустого реферера, а у каких то ботов в этом параметре стоит полный url посещаемой страницы: https:// domain.com/category/page-1
Cloudflare такой визит не проверяет, а в метрику он подгружается как прямой заход.
Правило с IPV6 выключите. А HTTP/Direct поставьте проверку Managed Challenge.
Еще посмотрите в метрике, какие популярные страницы входа. Если большая часть идет на какие то конкретные внутренние, то создайте новое правило, где запретите доступ к этим страницам с пустым реферером.
Так же под полную блокировку сразу ставьте битерику - 35048.
Еще посмотрите в вебвизоре, с каких сетей идут прямые заходы. Если какая то не крупная сетка, то можно ее заблокировать на директ трафик. Если крупная, но с IPV6, то можно сделать блокировку по условию AS+пустой реферер+проверка что IPV6.
В общем нужно проанализировать и что то еще дополнительно вручную отфильтровать.
ТС может быть не в курсе, что клик по рекламе засчитывается в случае даже когда сайт не загрузился.
Так что помимо блокировки в самом директе, никаких других вариантов нет.
