Mister_Black

Рейтинг
185
Регистрация
24.02.2009
Не долго я радовался отсутствию ботов, опять попёрли, проверка JS и Managed challenge по Ноу реф трафику уже не помогает, боты как то прорываются
Noref stats WAF
Dambo #:
Ставил Клауд на месяц, думал от ботов спасет, прямых заходов стало меньше, но траф не рос, зато сайт стал постоянно подтормаживать вечерами и разные глюки выскакивали, то метрика недоступна, то какие то странные ошибки. Снёс клауд в итоге. Не жалею.  

Да тоже заметил, что глюки появились и время до получения первого байта выросло, на 100 единиц в среднем. И ещё с подключенным Клаудом невозможно определять прокси, за определение прокси отвечает заголовок в конфиге nginx  - proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; получаются либо все прокси, либо если заменить $proxy_add_x_forwarded_for; на $http_cf_connecting_ip; тогда процент прокси становится 0, проще говоря они не определяются, а мне для трейд скрипта это нужно. Пока думаю, что делать.

Какие галки отмечать в Skip для пропуска хороших ботов, чтоб не ошибиться?Allow bots
Вот ещё что заметил, теперь все ip определяются как прокси, видимо из за _SERVER["HTTP_X_FORWARDED_FOR"] в заголовке ответа
Mobiaaa #:

Всё так и должно быть

1) В логах появились ipv6, потому что на Ваш сайт стали заходить с этих адресов (видимо у Вас на сервере нет ipv6, поэтому раньше Вы не видели такие переходы)

2) Модуль активных соединений в Ispmanager берёт информацию с сетевой подсистемы ОС (netstat, ss и т.д.), там и будут IP адреса серверов CloudFlare

Значит так и оставлю, а то боюсь сбить какие нибудь настройки, у меня там ещё vpn стоит, главное что в логах реальные ip идут, единственное что напрягает, то что сертификат Letsencrypt не будет продлеваться, через ispmanager, тут либо на время отключать проксирование через Cloudflare, либо подключать сертификат Cloudflare.

Delysid #:
Модуль от cloudflare установить нужно в сам nginx.

Так он установлен, там по сути проблема только в одном месте, в отображении Активных сетевых соединений nginx, возможно так и должно быть я не знаю, нужно чтоб кто то у себя проверил у кого стоит Cloudflare, потому что в остальных местах и в логах отображаются реальные ip, ещё пришлось отключить в Cloudflare ipv6 потому что пошел поток непонятных ip6 адресов в логах, которого раньше не было.

Может стоит проксирование через Cloudflare включить, чтоб можно было блокировать по ASN, только у меня почему то перестаёт продлеваться сертификат Letsencrypt через ispmanager при включенном проксировании через Cloudflare, на втором домене включил ради интереса и вот там такая проблемка.

Я вот так, через htaccess отправил их в дальний путь)), вроде помогло

RewriteCond %{HTTP_USER_AGENT} (ClaudeBot|BotPoke|FriendlyCrawler|Friendly_Crawler|RepoLookoutBot|facebookexternalhit|Symfony) [NC]
RewriteRule .* http://www.nooo.me [L]

Сейчас другая проблема нарисовалась, идут боты с айпишников Amazon AWS примеры (3.149.213.209, 18.118.200.86, 54.184.194.191) баню ip, а он на следующий день с другого заходит, если банить подсеть, боюсь реальных пользователей отрезать.

Не советую эту зону, имею в ней домен с 14-летней историей, Bing и Yahoo его плохо индексирует, почему то именно зона biz им не нравится.
Ко мне вот такой стал захаживать, сегодня 12000 заходов
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)

Банить смело или он него есть какой то толк?
Всего: 719