Помощь в фильтрации ботов через CloudFlare

alaev
На сайте с 18.11.2010
Offline
749
#251
sagamorr #:

Коллеги!

Подскажите один момент.

Я блокирую какие то AS сети в CF. Делаю правило AS num eqals сетка and Refferer eqals пустое значение.

Получается визиты с пустым реферером, это те у которых реферер равен значению "-" и когда реферер равен любой странице домена?

Просто какие то переходы с этих сетей блокируются, а какие то проверка (правило) пропускает.

Много из-за чего так может быть. Начать стоит с очерёдности правил.

Например, пускает всех через поиск, а блокировка по as стоит ниже.

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
S
На сайте с 12.10.2012
Offline
207
#252
alaev #:

Много из-за чего так может быть. Начать стоит с очерёдности правил.

Например, пускает всех через поиск, а блокировка по as стоит ниже.

Нет, правило с блокировками стоит по очереди сразу после "белого списка".

Вопрос в том, какой реферер проверяется при таком значении.


alaev
На сайте с 18.11.2010
Offline
749
#253
sagamorr #:

Нет, правило с блокировками стоит по очереди сразу после "белого списка".

Вопрос в том, какой реферер проверяется при таком значении.


Очевидно что там должен быть какой-то домен указан.

Если в планах отсечь ботов, которые идут впервые на сайт, то лучше использовать cookie does not contain.

S
На сайте с 12.10.2012
Offline
207
#254
alaev #:

Очевидно что там должен быть какой-то домен указан.

Если в планах отсечь ботов, которые идут впервые на сайт, то лучше использовать cookie does not contain.

Нет, нужно отсечь ботов, которые идут через прямые заходы.

BL
На сайте с 26.05.2012
Offline
91
#255
Stranger82 #:
Мужики, в Cloudflare ничего трогать не надо. Pseudo IPv4 оставляем в OFF.  IPv6 Compatibility включено, выключить его возможности нет и прекрасно. Не прописываем на Cloudflare AAAA-запись, а если прописали, то удаляем её. С Cloudflare всё, дальше уже остаются только настройки ISPManager. Отключаем там IPV6 и получаем итог такой. Пользователи с IPV6 заходят на сайт. Боты по IPV6 не мучают. МТС, Дом ру, Ростелеком и многие другие уже давно вовсю выдают IPV6 пользователям. Без него уже никак, даже в РФ.

Stranger82, добрый день!

Хотел у Вас уточнить. У нас выставлены настройки, согласно вышеприведенной рекомендации:

1. На Cloudflare:

  • АААА - записи = не прописаны
  • Pseudo IPv4 = OFF
  • IPv6 Compatibility = включено (принудительно на бесплатном тарифе)

2. На сервере:

  • IPv6 = отключен на 100%


В результате, как я понял:

  • Реальные пользователи с IPv6 - смогут попасть на сайт (у них IPv6 автоматом поменяется на IPv4)
  • Боты с IPv6 - не попадут на сайт (им проблематично IPv6 автоматом поменять на IPv4)


В итоге:

  • в логах фиксируются заходы с IPv6, например:
    2a00:1fa2:4466:b35e:0:58:f730:f001 - - [25/May/2023:08:42:57 +0300] "GET /wp-content/cache/autoptimize/autoptimize_2fe35dd76b690fe8e6f8a86dc3.php HTTP/2.0" 200 18832 "https://tut-url-sajta.ru/" "Mozilla/5.0 (Linux; arm_64; Android 13; SM-A515F) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 YaBrowser/23.5.0.256.00 SA/3 Mobile Safari/537.36"
    этот IPv6 - выдан оператором МТС


Вопрос:

  • но ведь в логи не должны тогда попадать IPv6 при вышеописанных настройках (учитывая, что у пользователей с IPv6 - автоматом должно меняться на IPv4)?
  • видимо тут нужно дополнительно на Cloudflare отключить IPv6 через API (как многие уже неоднократно писали)? Но смогут ли тогда реальные IPv6-пользователи попасть на сайт или у них по-прежнему будет происходить автоматическая смена IPv6 на IPv4 ?
Mik Foxi
На сайте с 02.03.2011
Offline
1106
#256
Дмитрий #:
видимо тут нужно дополнительно на Cloudflare отключить IPv6 через API

да. пользователи ничего не заметят и будут заходить по ipv4.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
Altevsk
На сайте с 03.10.2010
Offline
117
#257
Дмитрий #:

2. На сервере:

  • IPv6 = отключен на 100%

Уточните, плиз, это на каком хостинге? И как именно отключен на 100%, какие действия выполнены?

alaev
На сайте с 18.11.2010
Offline
749
#258
sagamorr #:

Нет, нужно отсечь ботов, которые идут через прямые заходы.

Я же писал раньше. Указываем сайты, откуда посетителей пускаем, остальным капчу.

Плюс правила, где обрубаем ботов по as или иным параметрам, но они выше.

S
На сайте с 12.10.2012
Offline
207
#259
alaev #:

Я же писал раньше. Указываем сайты, откуда посетителей пускаем, остальным капчу.

Плюс правила, где обрубаем ботов по as или иным параметрам, но они выше.

Я это все настроил.

Капча все равно пропускает ботов с каких то сетей. Чтобы их отсечь, я сделал правило с блокировкой по номеру сети и пустому значению в параметре реферер.

Только какие то переходы с заблокированных сетей все равно проходят. Поэтому вопрос, при таком значении:

Будут учитываться визиты только с реферером "-" или еще будут обрабатываться со значением реферера, где присутствует домен сайта?

BL
На сайте с 26.05.2012
Offline
91
#260
Mik Foxi #:

да. пользователи ничего не заметят и будут заходить по ipv4.

Спасибо за инфу!

altevsk #:
Уточните, плиз, это на каком хостинге? И как именно отключен на 100%, какие действия выполнены?

Это выделенный сервер от Фаствпс. Делалось в два шага:

1. По запросу техподдержка удалила IPv6 подсеть в дата-центре.

2. Затем в настройках панели сервера (в Fastpanel) сняли чек-боксы с IPv6 (оставив только IPv4) + в конфиге Nginx пришлось дополнительно удалить строки, содержащие IPv6.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий