Помощь в фильтрации ботов через CloudFlare

I5
На сайте с 07.02.2020
Offline
35
#71
Alvest #:

В общем и целом, уже 2 недели мучаюсь с настройкой CF - не помогает ничего. Уже начал блокировать и отдельные ip, и целые сети по ASN, и целые страны. Судя по статистике CF, каждый день по 2-3к блоков срабатывает. Но ва место старых ботов приходят новые, с других ip и сетей.

Выше в ветке показывал, как пытался выдавать капчу всем, кто идет не через поиск - в итоге в метрике все переходы числятся как внутренние, поисковых фраз не видно.

Живой трафик падает. Каждый день роботность под 80-90%. В службе поддеркжи дали стандартные ответы мол роботы ни на что не влияют. Что еще сделать, я не знаю. Может быть найдутся еще советы у умных людей здесь?

Больно наблюдать эту картину изо дня в день и не иметь возможности на это повлиять.


Данные две настройки убирают ботов на 80-90%

png 7x4wrm_4yq22o_2023-04-09_z_18.33.37.png
png 5irtry_h8h7i4_2023-04-09_5_18.34.04.png
A
На сайте с 03.08.2017
Offline
80
#72
Inferno5533 #:

Данные две настройки убирают ботов на 80-90%

Разумеется, все это у меня прописано. Проблема в том, что у меня нет прямых заходов. У меня  "Переходы по ссылкам на сайтах". Просто тысячи заходов с разных рандомных сайтов на главную страницу + внутренний переход

S
На сайте с 12.10.2012
Offline
202
#73
Alvest #:

Разумеется, все это у меня прописано. Проблема в том, что у меня нет прямых заходов. У меня  "Переходы по ссылкам на сайтах". Просто тысячи заходов с разных рандомных сайтов на главную страницу + внутренний переход

Большая часть из таких переходов отображаются при фильтре-без роботов?
I5
На сайте с 07.02.2020
Offline
35
#74
Alvest #:

Разумеется, все это у меня прописано. Проблема в том, что у меня нет прямых заходов. У меня  "Переходы по ссылкам на сайтах". Просто тысячи заходов с разных рандомных сайтов на главную страницу + внутренний переход

Для этого в WAF поставьте это правило. Для блокировки вберите  Interactive Challenge 

png mdmyv3_eph8qb_2023-04-09_g_20.10.11.png
A
На сайте с 03.08.2017
Offline
80
#75
Inferno5533 #:

Для этого в WAF поставьте это правило. Для блокировки вберите  Interactive Challenge 

У меня стояло такое правило, пришлось отключить. Большая часть переходов отображается как внутренние. Плюс из-за этого я не вижу поисковых фраз, по которым зашли люди. В соседней ветке у человека возникала такая же проблема.

S
На сайте с 12.10.2012
Offline
202
#76

Предлагаю делится списком спам сетей.

  • AS35048 BITERIKA-AS - блокирую полностью.
  • AS25513 ASN-MGTS-USPD - блокировка на прямые заходы.
  • AS52207 TULA-AS - блокировка на прямые заходы.
  • AS206385 SPETSTELECOM-YUG-AS - блокировка на прямые заходы. Если на каких то сайтах идут с нее боты, то 90% проходят капчу, может у них там какие то прокси продвинутые.

Сети через которые боты идут в большом количестве, но пока не блокирую.

  • AS24940 HETZNER-AS - под 500 тыс IP. Заходят в основном из других стран. Интересно в случае блокировки, на сколько коснется пользователей рунета?
  • AS25159 SONICDUO-AS - мобильная сеть Мегафона. Боты с нее просто прут. По данным сервиса https://cleantalk.org/ru/blacklists/as25159, у нее спам активность 30%. Но при блокировке прямых заходов с нее, попал под блокировку на своем сайте пытаясь зайти с моб инета.
Mik Foxi
На сайте с 02.03.2011
Offline
1076
#77
sagamorr #:
Но при блокировке прямых заходов с нее, попал под блокировку на своем сайте пытаясь зайти с моб инета.

и это хорошо. становится понятнее, что не надо наглухо блокировать сети домашних и мобильных провайдеров.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
юни
На сайте с 01.11.2005
Offline
902
#78
Mik Foxi #:
становится понятнее

Люди элементарных вещей не понимают. Что такое автономка, что такое подсеть, что такое роут-объект или объект организации. Сейчас позакрывают всё, что нужно, и оставят всё, что нужно закрыть, а потом жаловаться будут. "Мы столько времени потратили, а результата нет".

Конечно, нет. И не будет.

https://a-parser.com/ - парсер для профессионалов SEO, маркетологов, арбитражников и SaaS, https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
S
На сайте с 12.10.2012
Offline
202
#79
Mik Foxi #:

и это хорошо. становится понятнее, что не надо наглухо блокировать сети домашних и мобильных провайдеров.

Вместо флуда могли бы поделится своим списком. Вы в какой то ветке хвастались, что собрали список спам сетей и IP для вашего антибота.
Mik Foxi
На сайте с 02.03.2011
Offline
1076
#80
sagamorr #:
Вместо флуда могли бы поделится своим списком. Вы в какой то ветке хвастались, что собрали список спам сетей и IP для вашего антибота.

я не настолько сильно не люблю людей, чтоб им так гадить ) большинство же не будет думать, будет:

вижу какой то не понятный список из интернетов - беру и блокирую его не думая. а потом забываю что перебанил пол интернета.

Я постоянно с этим сталкиваюсь, забытые кучи правил в cloudflare и htaccess, от которых заблочено половина трафа живого, а боты как шли так и идут. 

В антиботе это не приводит к потери посетителей, подозрительным юзерам и спамным подсетям выдастся просто кнопка входа, на которую живой юзер нажал и вошел. и это динамические списки. боты перестали пользоваться - это за считанные часы/дни очищается. все эти asnum/asname переименовываются и переделяются постоянно. 

В общем все эти списки - это для тех кто понимает что это, зачем и как оно работает. 

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий