Mister_Black

Рейтинг
185
Регистрация
24.02.2009
Ещё обнаружил, что не все реальные ip в лог идут, например попадаются вот такие 104.28.254.132, 104.28.211.189, 104.28.197.14, 104.28.254.134, 104.28.205.70, 104.28.42.21 и т.д, все проверил это ip CF, но они по идее не должны попадать в лог, в конфиге nginx прописаны актуальные ip адреса подсетей со страницы https://www.cloudflare.com/ru-ru/ips/
Можно было бы забить, но у меня limit_req zone настроен в связке с fail2ban и если кто то начнёт шалить с такого адреса, то адрес cf в бан попадёт и если кто то другой с него будет заходить уже не сможет попасть на сайт, возможно как раз с этим и связаны лаги которые я иногда стал замечать.
А для пустых рефереров решил поставить Interactive challenge, надеюсь поможет и закладочники не сильно пострадают.
Не долго я радовался отсутствию ботов, опять попёрли, проверка JS и Managed challenge по Ноу реф трафику уже не помогает, боты как то прорываются
Noref stats WAF
Dambo #:
Ставил Клауд на месяц, думал от ботов спасет, прямых заходов стало меньше, но траф не рос, зато сайт стал постоянно подтормаживать вечерами и разные глюки выскакивали, то метрика недоступна, то какие то странные ошибки. Снёс клауд в итоге. Не жалею.  

Да тоже заметил, что глюки появились и время до получения первого байта выросло, на 100 единиц в среднем. И ещё с подключенным Клаудом невозможно определять прокси, за определение прокси отвечает заголовок в конфиге nginx  - proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; получаются либо все прокси, либо если заменить $proxy_add_x_forwarded_for; на $http_cf_connecting_ip; тогда процент прокси становится 0, проще говоря они не определяются, а мне для трейд скрипта это нужно. Пока думаю, что делать.

Какие галки отмечать в Skip для пропуска хороших ботов, чтоб не ошибиться?Allow bots
Вот ещё что заметил, теперь все ip определяются как прокси, видимо из за _SERVER["HTTP_X_FORWARDED_FOR"] в заголовке ответа
Mobiaaa #:

Всё так и должно быть

1) В логах появились ipv6, потому что на Ваш сайт стали заходить с этих адресов (видимо у Вас на сервере нет ipv6, поэтому раньше Вы не видели такие переходы)

2) Модуль активных соединений в Ispmanager берёт информацию с сетевой подсистемы ОС (netstat, ss и т.д.), там и будут IP адреса серверов CloudFlare

Значит так и оставлю, а то боюсь сбить какие нибудь настройки, у меня там ещё vpn стоит, главное что в логах реальные ip идут, единственное что напрягает, то что сертификат Letsencrypt не будет продлеваться, через ispmanager, тут либо на время отключать проксирование через Cloudflare, либо подключать сертификат Cloudflare.

Delysid #:
Модуль от cloudflare установить нужно в сам nginx.

Так он установлен, там по сути проблема только в одном месте, в отображении Активных сетевых соединений nginx, возможно так и должно быть я не знаю, нужно чтоб кто то у себя проверил у кого стоит Cloudflare, потому что в остальных местах и в логах отображаются реальные ip, ещё пришлось отключить в Cloudflare ipv6 потому что пошел поток непонятных ip6 адресов в логах, которого раньше не было.

Может стоит проксирование через Cloudflare включить, чтоб можно было блокировать по ASN, только у меня почему то перестаёт продлеваться сертификат Letsencrypt через ispmanager при включенном проксировании через Cloudflare, на втором домене включил ради интереса и вот там такая проблемка.

Я вот так, через htaccess отправил их в дальний путь)), вроде помогло

RewriteCond %{HTTP_USER_AGENT} (ClaudeBot|BotPoke|FriendlyCrawler|Friendly_Crawler|RepoLookoutBot|facebookexternalhit|Symfony) [NC]
RewriteRule .* http://www.nooo.me [L]

Сейчас другая проблема нарисовалась, идут боты с айпишников Amazon AWS примеры (3.149.213.209, 18.118.200.86, 54.184.194.191) баню ip, а он на следующий день с другого заходит, если банить подсеть, боюсь реальных пользователей отрезать.

Не советую эту зону, имею в ней домен с 14-летней историей, Bing и Yahoo его плохо индексирует, почему то именно зона biz им не нравится.
Всего: 720