Анти БОТ

Анти БОТ
Рейтинг
142
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
Volovikov #:
А почему никто не ругает РКН? А то со стороны это выглядит так: кинули нас в грязь, вот и толчемся в ней. 
А почему никто не ругал ЦК КПСС в 1943 году за то, что в Москве нельзя купить Völkischer Beobachter?
Интернет перестал быть глобальным, и активно раздербанивается на обособленные сегменты, подчиняющиеся национальному законодательству. Никто же не ругает английский РКН за то, что для входа на многие сайты, соцсети теперь требуется подтверждение личности. А кто ругает, получит штраф или срок, и после отсидки ругать будет только на собственной кухне.
Slav_on #:

А какой смысл городить DNS от CF? Смысл этих костылей если сейчас сервера CF выведены из России.

Смысл в том, что иногда требуется делать какие-то измения в ДНС. 
Например, А запись домена менять, или TXT записи, или еще что. 

И если с ДНС от клауда вы нажали сохранить, досчитали до 5 - и эти изменения уже синхронизированы по всему миру, то с ДНС от своего хостинга после тех же действий - вы будете ждать синхронизации от 30 мин до 24 часов.

ant42 #:
Подскажите, если сайт использует CF просто как DNS, этот сайт тоже не открываются? Нет возможности проверить из РФ

Те кто выше отписались, вообще вопрос читали? Если не читали, еще раз прочитайте, вот вам цитата, на тот случай если с первого раза вопрос не был понятен.

Для чего вы рассказываете о том, что у вас что-то не работает с проксированием, если вопрос - работает ли только режим ДНС.
Т.е. спрашивают про вариант когда проксирование клауда НЕ включается, работает только ДНС сервер.

У меня на сайте НС клауда, сам клауд на паузе, т.е. из всего его функционала используется ДНС сервер, и больше ничего. И никаких проблем с доступностью нет.

ant42 #:
Подскажите, если сайт использует CF просто как DNS, этот сайт тоже не открываются? Нет возможности проверить из РФ

С днс проблем нет.

Только с проксированием.

Slav_on #:
не смогли превзойти ТикТок на уровне алгоритмов, взяли его купили.
И конечно же за скобками остался тот факт, что вы или берете бусы и подписываете нужную бумагу, или просто запретим, обнулим, и не получите вообще ничего. Так что запретить и отобрать - это общий тренд, не нужно про каких-то уникальных запрещаторов с РКН здесь сказки рассказывать.
ChristmasNet #:

Ботный трафик присутствует на всех сайтах, в основном все его замечают по метрике, если копнуть логи то там постоянно шныряют боты.

Это не дано увидеть тем, кто снял метрику с сайта. По серверным логам такой вообще никак не поймет, конкретный заход с Мегафона например - реальный или ботный. Да и в целом открывать их не будет, а может даже и не знает где такие искать.
Так что это из разряда - раз проблемы не вижу, значит ее нет. Чисто детский подход, ладошками глаза закрыл, и опасности нет.
softerra #:
2. нет метрики = боты отваливаются
Тема действительно проста, никаких ботов не существует в природе, это все выдумка. Вон ниже 2 инспектора, искали не нашли. antiddos24
Антоний Казанский #:

К нуля я думаю вряд ли, пользовательский трафик тоже может быть отказной, но в целом направление мысли понятно, благодарю.


Это да, понятно, когда откроешь в поиске например 10 вкладок, а потом закроешь не востребованные не заходя на них, или переход в таб + крестик - вот и отказной визит. Либо просто висит окно в браузере, миллион вкладок открыто.
Имелось в виду вот как на скриншотах. Первый это за месяц, там наглядно видно, где с фильтрацией а где нет.
Второй скрин - это уже за день (данные на базе 7 тыс визитов за этот день).

antiddos24

antiddos24

Антоний Казанский #:

Сверка по отпечаткам в базе Киллбота?

Это комплексно нужно настраивать, слепки это основа, для фильтрации начального уровня, из разряда включил а дальше оно само, волшебная кнопка в действии. А вот набор правил WAF значительно расширяет все это, и под капчу начинает дополнительно попадать часть визитов, которые изначально, по умолчанию, в антиботе помечены как пользователи, но при этом имеют параметры как у ботов (выше на скрине у меня допустим засветилось правило, антидетект, система определила эмулированное устройство). Т.е. в одном и том же слепке реальных посетителей часть визитов идет без капчи, а часть - попадает под проверку. Например, хостинговые визиты я при настройке отправляю тоже под капчу, отделить реального посетителя с ВПН от бота, использующего ту же самую инфраструктуу.
Антоний Казанский #:

А она как визуально выглядит?

Алерт на уровне ОС, там пояснительный текст и нужно нажать ОК. А как мы знаем, с всплывашками даже на уровне браузера ботофермы плохо справляются. Даже без защит, если на весь экран вылазит модальное окно - бот за ним деловито пытается листать сайт. А этот алерт вообще не видит, соответственно технически - нажать его не способен.
Антоний Казанский #:

p.s. Итого, я так понимаю, решение о том, как классифицировать заход (бот/не бот) принимается по цифровому отпечатку из общей базы?

Общая база + набор правил WAF.

Анти БОТ (Сергей), какие тактические решения сейчас выбираете (я так понимаю, вы работаете с Killbot-ом) для понижения отказов (также не пускаете в Метрику с предварительно проверкой капчи)?

Кстати, как сейчас в KillBot-е выглядит реализация, сайт грузится без Метрики с капчей или что "условный пользователь" видит? 

Пользователь при входе на сайт видит вот такой кружочек. Левая часть - проверка всех параметров на стороне киллбот. Правые цифры в кружочке - это уже процесс загрузки самого сайта. Как только все подтянулось - сразу открывается сайт, уже полностью прогруженный. Т.е. все это крутится около 1-2 секунд, в основном, дальше сразу идет просмотр сайта.

antiddos24

Если система определила что это пользователь - просто открывается сайт.

Если в системе такой визит определяется как бот - появляется вот такая капча. Это основная, но есть и продвинутая, для тяжелых случаев, которая на данный момент в стандартной реализации антидетект браузеров не решается (это капча на уровне ОС, а не браузера).

Также на этом экране есть скрытое меню, которое любят жать боты, изображающие активность, в эту ловушку они часто попадают, ловя вечную капчу по кругу (это уже настраивается на уровне правил WAF).

В зависимости от настроек, можно боту показать метрику, а можно и скрыть. Т.е. бот грузит сайт без метрики (привет детским любителям огульно отключать метрику у себя на сайтах, мол не вижу значит этого нет).
Соответственно, при полноценной настройке, показатель роботности на сайте начинает стремиться к нулю. При сохранении статистики посещений по реальным пользователям.

antiddos24

Всего: 1492