Форум Поисковые системы Яндекс

Помощь в фильтрации ботов через CloudFlare

1... 676869707172737475 ...135
sh241
На сайте с 12.08.2008
Offline
129
sh241
#701
alaev #:

Ходят те, которые тыкнули в капчу. Они и становятся прямыми заходами.

Для того, чтобы что-то посоветовать, нужно больше информации.

Те, кто с капчи попали регистрируются как "внутренние переходы". Это мне разъяснил саппорт яши.

--=== Всем привет ===--
sh241
На сайте с 12.08.2008
Offline
129
sh241
#702
Вот мои правила. В другой ветке обсуждали их уже.

Из обсужденийв другой ветки добавлю, что список сетей можно для оптимизации завести через "in", перед этими правилами добавляем правило с жестким блоком, то, что точно знаете, что нужно блокировать.
Второе правило с капчей, чтобы не фильтровать случайно попавших полезных посетителей, через капчу могут боты пробиваться некоторые конечно (подрастает кол-во внутренних переходов), таких умных ботов отлавливаем в логах сервера и добавляем в ваше самое первое правило с блокировкой. Так же был вопрос по рефереру "-", это правило добавлено, так как в моем случае было много ботов с этим реферером.

------

Для тех, кто пользует Cloudflare вот правила WAF:

Самым первым выставляем поавило в режим Skip:

(ip.geoip.asnum in {13238 208398 208722}) or (cf.client.bot)

Второе правило, на него показ капчи:

(ip.src in {::/0}) or (not ssl) or (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (http.referer eq "") or (http.referer eq "-") or (ip.geoip.country in {"AF" "AX" "AL" "DZ" "AD" "AO" "AI" "AG" "AW" "BH" "BD" "BB" "BZ" "BJ" "BT" "BO" "BQ" "BW" "BN" "BF" "BI" "KH" "CM" "CV" "CF" "TD" "CL" "CN" "CX" "CC" "CO" "KM" "CG" "CD" "CK" "CR" "CI" "CW" "DJ" "SV" "GQ" "ER" "ET" "FK" "FO" "GA" "GM" "GH" "GI" "GD" "GP" "GT" "GG" "GN" "GW" "GY" "HT" "HN" "IN" "ID" "IR" "IQ" "JM" "JE" "JO" "KE" "KI" "KW" "LA" "LB" "LS" "LR" "LY" "MK" "MW" "ML" "MT" "MQ" "MR" "MU" "YT" "MS" "MZ" "MM" "NA" "NR" "NP" "NC" "NI" "NE" "NG" "NU" "OM" "PK" "PW" "PS" "PA" "PG" "PY" "PN" "QA" "RE" "RW" "BL" "SH" "KN" "LC" "PM" "VC" "WS" "SM" "ST" "SA" "SN" "SL" "SB" "SO" "ZA" "SS" "SD" "SR" "SJ" "SY" "TW" "TZ" "TL" "TG" "TK" "TO" "TT" "TN" "TV" "UG" "UY" "EH" "YE" "ZM" "ZW" "T1"}) or (ip.geoip.asnum eq 49505) or (ip.geoip.asnum eq 35048) or (ip.geoip.asnum eq 206766) or (ip.geoip.asnum eq 207713) or (ip.geoip.asnum eq 52207) or (ip.geoip.asnum eq 16509) or (ip.geoip.asnum eq 23033) or (ip.geoip.asnum eq 48061) or (ip.geoip.asnum eq 14061) or (ip.geoip.asnum eq 200197) or (ip.geoip.asnum eq 14618)

в первом правиле допускаем всех полезных ботов и добавляем сети яндекса принудительно. Вторым пилим всех, кто лезет с ipv6, без ssl, с пустым referrer, ряда стран и ряда сетей. 

В моем случае побороло ботность, спам и ddos.
grafoman
На сайте с 02.04.2010
Offline
131
grafoman
#703
sh241 #:
на него показ капчи
Managed Challenge? Эта капча?
RK
На сайте с 10.12.2006
Offline
176
Иван Комаров
#704

а кто это?

Request details

  • Ray ID
    81c1e5190bb7672a
  • IP address
    2001:4860:7:227::f4
  • ASN
    AS15169 GOOGLE
  • Country
    Russian Federation
  • User agent
    Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Mobile Safari/537.36


почему то в известные боты CF он не попадает... и доходит до самого последнего правила по IPv6

Все виды хостинга - https://clck.ru/37EqSV - и не только ...
RK
На сайте с 10.12.2006
Offline
176
Иван Комаров
#705

и вот это CF не знает как известные боты 

Request details

  • Ray ID
    81c1df88ffb59d84
  • IP address
    2a02:6b8:81:0:3def:ad6f:eb64:54d8
  • ASN
    AS13238 YANDEX
  • Country
    Russian Federation
  • User agent
    Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.5845.2296 YaBrowser/23.9.0.2296 Yowser/2.5 Safari/537.36

RK
На сайте с 10.12.2006
Offline
176
Иван Комаров
#706

я о том, что  у меня Skip правило:

(cf.client.bot) or (http.user_agent eq "Mail.RU_Bot")

так вот две выше сетки Гугла и Яндекса не скипаются этим правилом.

почему? потому что IPv6 ?????

sh241
На сайте с 12.08.2008
Offline
129
sh241
#707
grafoman #:
Managed Challenge? Эта капча?

Да. Она самая.

sh241
На сайте с 12.08.2008
Offline
129
sh241
#708
Иван Комаров #:

я о том, что  у меня Skip правило:

(cf.client.bot) or (http.user_agent eq "Mail.RU_Bot")

так вот две выше сетки Гугла и Яндекса не скипаются этим правилом.

почему? потому что IPv6 ?????

AS добавить в скип. 

A
На сайте с 15.03.2008
Offline
130
Automaster
#709
sh241 #:

AS добавить в скип.

Т.е. разрешить всем мусорным ботам, которые косят под Яндекс и гугл, спокойно ходить по сайту?

TheVS
На сайте с 27.12.2006
Offline
428
TheVS
#710

Вот это желание добавить меилру в белый список чем обосновано кроме наличия в общедоступной инструкции по настройке клауда? Посмотрел свою статистику, в среднем получился 1 заход с их поиска на каждые 200 тыс. заходов с яндекса или гугла. Раньше они говорили, что используют поиск яндекса со своими доработками, но сейчас в этом есть большие сомнения.

Managed Challenge это скорее кнопка, чем капча.

🍄 Партнёрская программа для вебмастеров: https://bit.ly/finance_pp
1... 676869707172737475 ...135

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий