Анти БОТ

Анти БОТ
Рейтинг
137
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
dimkadim #:

Вижу по веб визору, что заходят в 95% с мобильных андройд устройств. Пару раз проскролят на сайте и выходят. Всплывающее окно не закрывают. Время нахождения до минуты на сайте.

Ботоферма/ы на прокси Мегафона. Ответил в соседнем топике, какие правила фильтрации ставятся в клауде.

А здесь всем форумом ждем ответа от великого специалиста, который выступит с речью о том, что поведенческих ботов не существует. Нужно просто Битерике дать ответ 403 чтобы бакланы зря палили электричество.

dimkadim #:

Народ приветствую!

Подскажите, пожалуйста, сайт на Тильде. С начала ноября дикий спам пошел по яндекс рекламе. 

Ip отображается в таком формате -

YOTA - Moscow and Moskovskaya obl.
Metropolitan branch of PJSC MegaFon
Beeline-Moscow GPRS Firewall
North-West Branch of OJSC MegaFon Network

Ботоферма на мобильных прокси Мегафона и на сдачу - Билайн.

Нужно фильтровать прямые заходы. Например, проверку им показывать (managed challenge)
Вот пример правила, поставьте нужные для себя подсети (http.referer eq "" and ip.geoip.asnum in {12389 52207 25513})

Sdrozdov #:

Есть методики, как их заблокировать?

Если в клауде, то AS204916
Если в htaccess, то вот диапазоны
https://asn.ipinfo.app/api/text/htaccess/AS204916

Stranger82 #:
С них подбирают пароли и DDOSят. По страшному DDOSят! 

А приведите плиз пример.
Ну т.е.
- протокол
- страница/ы с параметрами на которую приходит запрос
- юзерагент

Ну или кусок лога, все это содержащий.

Ну а третий айпишник, колокроссинг, это датацентр. Здесь то как раз могли и блокануть его. В отличие от первого чешского айпишника, где провайдер интернетов.

Stranger82 #:
Я говорю про DDOS. DDOSят в основном с прокси. МТСы, Ростелекомы и многие другие, как в РФ, так и в условном Китае, предоставляют DDOSерам эти прокси. При этом на этих сетках огромное количество нормальных пользователей, поэтому по ASN их блочить не очень умно.

Если сложить теплое + фиолетовое, то получится фигня.
Посмотрите на разбивку по странам при нормальном ддосе. А не на вспуке поведенческих. Которые многие упорно пытаются называть ддосом.
Там будет море всего и среди этого моря будет мизерный мизер российских айпишников.

1000 раз же уже написал, для защиты от разных типов ддос атак есть разные паттерны защиты. А вы все в эти AS вцепились мертвой хваткой. За неимением представления, какие еще паттерны атак существуют.
 Лично у меня вообще раньше в правилах их не было, я только недавно стал добавлять. И в отчете клауда часть блокировок переместилась из одной строки с правилами - в другую. Вот и вся разница.

Мажор #:

Я с ним ничего не обсуждал. Он не мне этот набор правил писал. Я просто частично некоторые пункты себе добавил, чтобы отсечь ботов.

Попробуйте переделать это правило под свои нужды. Так чтобы весь блок с реферерами поисковиков был в одной кучке, без разделения OR между собой.

Ну и как сказал GRAFLEKX - не обязательно наворачивать именно в таком виде. Чтобы сконструировать правило, нужно расписать что именно оно должно делать и зачем. Тогда возможно другие участники форума вместо шаманства над набором правил подскажут более оптимальный вариант.

GRAFLEKX #:

Чета мне кажется, что мы малость запутались, не? =)

Знаете, почему пилотов новых типов самолетов не набирают из пилотов других самолетов? У них слишком много неустранимых рефлексов, которые приведут к катастрофе. Берут зелень и обучают ее с ноля, именно под эту машину.

Если переносить свой опыт из других сфер, то это не всегда хорошо.

OR разделяет блоки правил между собой. А с AND уже внутри этого блока извращаешься конструируешь задуманное.

GRAFLEKX #:

Почему?

Тут же правило "ИЛИ", а не "И".

Т.е., если реферер пустой или не содержит любой из рефереров поисковиков, то = JS челендж.

А под такие правила будут легко пролетать боты с подставными реферами.


Ну надо человеку. Поэтому и мутит под свои нужды какой-то набор. 

Мажор #:

внутренние

Ну вы у вашфрилансер поспрашивайте, вы этот набор правил совместно делали / обсуждали чуть выше.

Но я бы на вашем месте посмотрел бы вот на что:

or (not http.referer contains "yandex") or (not http.referer contains "google") or (not http.referer contains "bing")

Это разные, независимые правила. И каждое из них исключает предыдущие. 

  • Я перехожу на ваш сайт из Яндекса. Реферера Гугла у меня при этом нет. Капча в зубы.
  • Я перехожу на ваш сайт из Гугла. Реферера Яндекса у меня при этом нет. Капча в зубы.
  • Ну по поводу Бинг и ya.ru вы уже поняли.
Здесь нужно чтобы оно проверяло на наличие ОДНОГО ИЗ рефереров, в одном блоке.
Stranger82 #:

Все эти амазоны и диджитал океаны полностью блокируем, пусть регают хоть миллион акков там. Но кое в чём Вы конечно правы. Ddos обычно идёт с прокси, а их десятки тысяч и каждый прокси в идеале надо блокировать, причём хвалёный ASN тут вообще не поможет, тут именно по IP надо блочить. Условный ростелеком или МТС по ASN не заблочишь, а ddosят с них за милую душу.

Ну вы в одном предложении смешали в кучу поведенческие переходы с Ростелеком, и ДДОС.
Вот отсюда потом и появляются все эти заблуждения на тему, что из себя представляет ДДОС-атака. Ну и компанией зачем-то вцепились в бедный AS. Здесь выкладывали ранее в ветках полноценный перечень из AS, там больше 1000 строк, замучаетесь проверять на актуальность. А не амазон с диджиталом, и все.

Версий уже несколько. ДДОС это:
- поведенческие боты с Ростелеком Краснодар и с Мегафона
- сканер Ahrefs
- кто-то запустил Screaming Frog
- пришел Яндекс, подозрительно сканирует сайт
- это все выдумки, ботов и ддоса не существует, достаточно только битерике дать в зубы 403, пусть бакланы палят электричество почем зря.

Всего: 1414