Помощь в фильтрации ботов через CloudFlare

JJ
На сайте с 09.07.2010
Offline
240
#1041
vashfreelancer #:
WAF правила. Verified Bot Category  > Search engine crawler. Вот документация

Не понял.
В  WAF правилах не нашел  Verified Bot Category

vashfreelancer
На сайте с 24.10.2023
Offline
27
#1042
john_j #:

Не понял.
В  WAF правилах не нашел  Verified Bot Category

Создаете новое (Create rule) / редактируете старое правило и выбираете что нужно Вам.


Защита сайта от ботов - накрутки ПФ, роботность, DDoS, Cloudflare ДДос - https://vashfreelancer.com
JJ
На сайте с 09.07.2010
Offline
240
#1043
vashfreelancer #:
Создаете новое (Create rule) / редактируете старое правило и выбираете что нужно
Это видел.
Я считал что можно изменить список ботов в Search Engine Crawler.
Оставить только нужных. То есть убрать из него всякие Applebot, Sogo, и тд
vashfreelancer
На сайте с 24.10.2023
Offline
27
#1044
john_j #:
Это видел.
Я считал что можно изменить список ботов в Search Engine Crawler.
Оставить только нужных. То есть убрать из него всякие Applebot, Sogo, и тд

У клауда в документации об этом ничего не сказано. Поэтому я Вам изначально и сказал, что делайте свои белый список по AS Сетям.

Вот  часть примера (свою базу составляйте самостоятельно, у яндекса есть еще сети).

(ip.geoip.asnum in {15169 8075 13238 13335 714})

гугл, майкрософт (бинг), яндекс, клауд, apple

https://2ip.ru/as/15169 - подставляете значение смотрите что за сеть.

у 8075 лучше дополнительную проверку делать по user agent bingbot - так как с этой сети может идти атака (ddos).

JJ
На сайте с 09.07.2010
Offline
240
#1045
vashfreelancer #:
делайте свои белый список по AS Сетям

Это я уже понял, что придется самому.
Странно что я не могу изменить  для сайта "список известных ботов" , которых CF уже определяет  по каким-то признакам.  Получается что список "Search Engine Crawler" в CF уже есть, только я не могу скорректировать его под себя.  Типа поставить галочки в этом списке. 

V1
На сайте с 14.03.2007
Offline
146
#1046
john_j #:

Это я уже понял, что придется самому.
Странно что я не могу изменить  для сайта "список известных ботов" , которых CF уже определяет  по каким-то признакам.  Получается что список "Search Engine Crawler" в CF уже есть, только я не могу скорректировать его под себя.  Типа поставить галочки в этом списке. 

Правила используйте и все можно. Не всегда же "галочки" будут. Посмотрите список известных ботов в категории "Search Engine Crawler" и если их нужно именно заблокировать, то делайте это правилом выше.

alaev
На сайте с 18.11.2010
Offline
694
#1047
john_j #:

Это я уже понял, что придется самому.
Странно что я не могу изменить  для сайта "список известных ботов" , которых CF уже определяет  по каким-то признакам.  Получается что список "Search Engine Crawler" в CF уже есть, только я не могу скорректировать его под себя.  Типа поставить галочки в этом списке. 

Делается все гораздо проще. Включаешь skip для known bots, потом в логах отлавливаешь всю дичь, которая не нужна.

И эту дичь в блок. Первым правилом. Там будут и по asn и по user agent.

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
П
На сайте с 23.09.2015
Offline
88
#1048
Если на сайте стоят блоки РСЯ и стандартная метрика, то снятие метрики не решит проблему с ботами? Нужно и рся тоже снимать?
M
На сайте с 23.01.2015
Offline
71
#1049
клаудфларе не защищает от поведенческих ботов
юни
На сайте с 01.11.2005
Offline
901
#1050
Анти ДДОС #:
Многие сети поведенческих ботов крутятся только на IPv6

Есть примеры?

Адреса этой версии больше распространены у хостеров, провайдеры их поддерживают в виде исключения, в сеть по в6 выходят в Штатах, иногда в Европе. В бСССР это редкость.

Иными словами, именно для накрутки поведенческих данный протокол скорее вреден. Можно парсить ПС или маркетплейсы, регистрировать аккаунты в соцсетях или заниматься другими техническими работами.

https://a-parser.com/ - парсер для профессионалов SEO, маркетологов, арбитражников и SaaS, https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий