Помощь в фильтрации ботов через CloudFlare

vashfreelancer
На сайте с 24.10.2023
Offline
36
#801
Мажор #:

После того как в WAP добавил правило  (http.referer eq "") or (not ssl) or (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (not http.referer contains "ya.ru") or (not http.referer contains "yandex") or (not http.referer contains "google") or (not http.referer contains "bing") с  action Managed Challenge, то весь траффик из поисковиков стал значиться как прямые заходы. Это и в Яндексе и в Google и в Liveinternet. Т.е. теперь по мнению поисковиков, у меня нет органического поискового траффика, а это очень плохо для SEO.

Понятно, что можно полностью удалить всю эту конструкцию и все вернется назад. Но может можно как-то по другому прописать, чтобы и ботов не пускать и статистику не портить?


Вы хотите заблокать / дать капчу все referer кроме поисковых? Это делается в два правила:

1. Пропускаем всех кто  содержит  (http.referer contains "ya.ru") or (http.referer contains "yandex") or (http.referer contains "google") or (http.referer contains "bing") or (http.referer contains "ваш-сайт.ру")
для более точного вхождение можно собрать yandex.kz, ru. com и также с другими ПС. Важно добавить Ваш сайт в пропуск referer или по hostname.

2. А вторым правилом блочите или выдаете капчу остальным доменным зонам типо .ru .com .io и так далее (собираете базу фейк переходов URL и фильтруете зоны, если я правильно понял, что вы хотите прикрыть фейк переходы с сайтов):
(http.referer contains ".ru") or (http.referer contains ".com") or (http.referer contains ".io")

Можете нулевым правилом сделать блокировку протоколов что у Вас есть. В таком случае все должно работать и блокировать мусор.

Там думаю самостоятельно сделаете принцип. Если не это хотели, тогда сообщите подробно какая задача  и что Вы хотите от правила.

softerra #:

Вы здесь все еще с ботами боретесь? У меня на это ушло примерно месяц. Переблочил сетки напрямую на сервере - проблемы больше нет. Идут единичные живые бакланы.

Если ваши сайты в РФ - где будут их айпихи на CF? + прыгающие капчи и проверки браузеров - для ИМагазинов такая жесть неприемлима.

Для сайтиков, обвешенных дешевой рекламой - CF самое то, хотя не уверен.

Возможно ошибаюсь ..

У Вас трафика на сайте 50 человек в день, Вам самому не смешно? Я бы посмотрел как Вы при трафике в 90к в сутки разбирались в логах и банили подсети, т.к кроме этого вы ничего и не делаете в плане защиты.

В клауде изучать логи легко и просто. Зачем Вы пишите и даете советы, а потом пишите "возможно ошибаюсь".. Для любого магазина капчи неприемлемы, потому что это потенциальная потеря клиента. А Вы уверены что потенциальный клиент у Вас не заблокирован? Может быть сорвалась хорошая покупка. Вот и дело в том что Вы то уверены то не уверены.

Защита сайта от ботов - накрутки ПФ, роботность, DDoS, Cloudflare ДДос - https://vashfreelancer.com
TheVS
На сайте с 27.12.2006
Offline
444
#802
vashfreelancer #:
Вы хотите заблокать / дать капчу все referer кроме поисковых? Это делается в два правила:

Зачем в два, если в одно с "не содержит" работает?

🍄 Финансовая партнёрская программа для вебмастеров и блогеров: https://bit.ly/finance_pp
vashfreelancer
На сайте с 24.10.2023
Offline
36
#803
TheVS #:

Зачем в два, если в одно с "не содержит" работает?

Если работает с одним, то пусть использует с одним. Человек написал что все заходы стали внутренними, без скриншотов проблемы. Поэтому я предложил такое решение.

K4
На сайте с 29.01.2020
Offline
66
#804
master32 #:

ну все, повалили боты, адаптируются..


Такая же картина с начала недели, связываю с изменением их алгоритма подсчета роботности.


М
На сайте с 10.04.2017
Offline
53
#805
vashfreelancer #:

Вы хотите заблокать / дать капчу все referer кроме поисковых? Это делается в два правила:

1. Пропускаем всех кто  содержит  (http.referer contains "ya.ru") or (http.referer contains "yandex") or (http.referer contains "google") or (http.referer contains "bing") or (http.referer contains "ваш-сайт.ру")
для более точного вхождение можно собрать yandex.kz, ru. com и также с другими ПС. Важно добавить Ваш сайт в пропуск referer или по hostname.

Ситуация на моих сайтах следующая: все настоящие живые пользователи сначала заходят на основной мой домен, совершают определенное действие и их перебрасывает на поддомен этого же моего сайта. По логам вижу, что они проходят  проверку Managed Challenge.

Я правильно понимаю, чтобы пользователи не проходили проверку Managed Challenge, при переходе с моего сайта на поддомен этого же моего сайта, необходимо в Skip добавить (http.host contains "мой-сайт.ру") или (http.referer contains "мой-сайт.ру"?

М
На сайте с 10.04.2017
Offline
53
#806
Kykapa4a #:

Такая же картина с начала недели, связываю с изменением их алгоритма подсчета роботности.

У меня сейчас такая картина:

Максимально за день было 35% роботов, а сегодня - 4%.


vashfreelancer
На сайте с 24.10.2023
Offline
36
#807
Мажор #:
чтобы пользователи не проходили проверку Managed Challenge, при переходе с моего сайта на поддомен этого же моего сайта

Да. Можете со своим айпи сначала попробовать работу правила , если все норм - сделать для всех.

K4
На сайте с 29.01.2020
Offline
66
#808
TheVS #:

В продолжении подтверждения теории, что метрика рисует очень много роботов, которые на самом деле нормальные люди, либо этих посещений вообще нет. 1 ноября в метрике был сбой и длительные тех. работы, после этого роботность упала в разы на большинстве сайтов. Возможно, что совпадение, но я больше склоняюсь к тому, что они свои говноалгоритмы хоть немного подкрутили.

У меня на сайте с 6 ноября роботность в поисковом трафике скаканула с нуля до 2,8%, за три дня из 42к запросов 1,2к помечены как роботы. Все роботные запросы не совпадают по содержанию, т.е. нет повторяющихся поисковых фраз. 😁 Написал в техподдержку метрики, пусть разбираются.

GRAFLEKX
На сайте с 05.11.2010
Offline
213
#809
Kykapa4a #:
Написал в техподдержку метрики, пусть разбираются.

Да не будут они разбираться, уже проверено.

Ответят дежурными фразами по скриптам и всё.

Но что-то они явно мутят, тестируют... роботность скачет каждую неделю то в плюс, то в минус.

Мы поможем в поиске работы: стабильная работа для вас ( https://www.rabota.ru ), вакансии и резюме.
K4
На сайте с 29.01.2020
Offline
66
#810
GRAFLEKX #:

Да не будут они разбираться, уже проверено.

Ответят дежурными фразами по скриптам и всё.

Но что-то они явно мутят, тестируют... роботность скачет каждую неделю то в плюс, то в минус.

Ага, уже прислали стандартный ответ, буду просить, что бы отправили обращение в тех. отдел.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий