Как метрика видит ботов?

12
B
На сайте с 07.11.2024
Offline
7
4435
Для ip со спамных сеток типа битерики поставил на сайте самописную отложенную загрузку метрики с капчей, метод сработал, капчу обходят всего примерно 1-2% от всех ip битерики. Затем заметил, что метрика в период с примерно 00 по 08 по мск показывает высокую долю бот трафика в визитах, иногда до 30%. Поскольку в это время посетителей на сайт заходит не так много, решил поставить капчу на это время для всех. Итог - почти все посетители в это время обходят капчу и ботность по метрике также в районе 30%, ничего не поменялось. И возникает вопрос - не может ли метрика всех подряд записывать в боты и просто так рисовать цифры бот-трафика? 
S
На сайте с 26.02.2017
Offline
79
#1
bizibord :
Для ip со спамных сеток типа битерики поставил на сайте самописную отложенную загрузку метрики с капчей, метод сработал, капчу обходят всего примерно 1-2% от всех ip битерики. Затем заметил, что метрика в период с примерно 00 по 08 по мск показывает высокую долю бот трафика в визитах, иногда до 30%. Поскольку в это время посетителей на сайт заходит не так много, решил поставить капчу на это время для всех. Итог - почти все посетители в это время обходят капчу и ботность по метрике также в районе 30%, ничего не поменялось. И возникает вопрос - не может ли метрика всех подряд записывать в боты и просто так рисовать цифры бот-трафика? 

Есть вероятность.

Это мое субъективное мнение, которое может быть неверным.

В процессе исследования алгоритма Метрики я обнаружил, что впервые посетивший сайт пользователь по умолчанию классифицируется как робот. Переклассификация в человека происходит после выполнения определенных действий на странице. Если же страница короткая и не требует прокрутки, то, согласно логике Метрики, такой посетитель остается в категории "роботов", независимо от внедренных мер защиты, таких как капча. Наблюдаемая повышенная активность "мнимых ботов" в период с 00:00 до 08:00 по московскому времени может объясняться механизмом сброса учета поведения посетителей в полночь, когда ранее идентифицированные как люди пользователи начинают определяться как боты.

Vladimir
На сайте с 07.06.2004
Offline
602
#2
bizibord :
И возникает вопрос - не может ли метрика всех подряд записывать в боты и просто так рисовать цифры бот-трафика?

Это скорее всего нагул боты. 
Анализ на основании своих сайтов: могу косвенно,  по графику метрики этих ботов определять.

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
Mik Foxi
На сайте с 02.03.2011
Offline
1196
#3
bizibord :
И возникает вопрос - не может ли метрика всех подряд записывать в боты и просто так рисовать цифры бот-трафика? 

может, изза этого:

bizibord :
поставил на сайте самописную отложенную загрузку метрики с капчей

любая модификация метрики может вызывать неожиданные результаты.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
TheVS
На сайте с 27.12.2006
Offline
463
#4

А зачем на битерику и подобные ставить капчу, если можно сразу в бан кидать?

Да, метрика очень плохо распознаёт ботов в обе стороны.

🍄 Видео-реклама на ваших сайтах: https://bit.ly/ads_for_video
B
На сайте с 07.11.2024
Offline
7
#5
TheVS #:

А зачем на битерику и подобные ставить капчу, если можно сразу в бан кидать?

Да, метрика очень плохо распознаёт ботов в обе стороны.

В бан тоже ставил, около года отдавал 403-е всяким Hetzner, Delta-ltd, Selectel и прочим, но сказалось на позициях такая блокировка. Такое чувство, что пару процентов оттуда все-таки живые идут. 

TB
На сайте с 16.01.2009
Offline
239
#6
bizibord #:

В бан тоже ставил, около года отдавал 403-е всяким Hetzner, Delta-ltd, Selectel и прочим, но сказалось на позициях такая блокировка. Такое чувство, что пару процентов оттуда все-таки живые идут. 

Откуда уверенность, что это из блокировки битерик и прочих ботов? Позиции подают из-за множества причин. Иногда для падения причины вообще не нужны. 

B
На сайте с 07.11.2024
Offline
7
#7
Mik Foxi #:

может, изза этого:

любая модификация метрики может вызывать неожиданные результаты.

о том и пишу, что как до отложенной загрузки метрики с капчей, так и после ее установки ничего особо в ночное время не поменялось, как получал ботность до 30% ночью, так и получаю. Наоборот, эта отложенная загрузка отлично работает для спамных сеток типа битерики и даже для моб операторов типа йоты, там процент обхода капчи не более 5, но совсем не работает для всех подряд, типа мегафона, мтс, ростелекома. Точнее, возможно, и работает, но метрика все равно всех подряд записывает в боты, даже тех, кто обошел сложную капчу. Т.е. для метрики в ночное время даже очевидные живые юзеры летят в бот трафик. Погрешностью это быть не может, т.к. посещаемость сейчас около 30 тыщ в сутки с 4-5 просмотрами в среднем на каждого и за ночь может пройти несколько тысяч визитов с обходом капчи. И, либо боты со спамных сеток не настолько умные, как боты мегафона, мтс и т.д., первые не проходят капчу, а вторые - проходят, либо метрика что-то ошибочно считает и каждого третьего ночью отправляет в боты. Началось такое по метрике где-то год назад, ломаю голову над тем, как это поправить. 

TB
На сайте с 16.01.2009
Offline
239
#8
Что касается распознавания метрикой ботов, то она очень хорошо определяет ботный трафик со всяких битерик и селектелов. А вот с определением ботов с мегафона, мтс и прочих сетей у метрики явные проблемы. Но она и не обещает определять всех ботов, так как заявлено лишь "определение ботов по поведению". А какое именно поведение кажется метрике ботовым - знает только сама метрика.
B
На сайте с 07.11.2024
Offline
7
#9
TonyBlackberry #:

Откуда уверенность, что это из блокировки битерик и прочих ботов? Позиции подают из-за множества причин. Иногда для падения причины вообще не нужны. 

точно не уверен, но есть такое предположение, что один из факторов. Либо,конечно, блокнул лишнего, может даже те 1-2 процента живых со спамных сеток, которые были заблокированы повлияли. Либо вообще что-то другое повлияло. Но железно решил, что лучше капча и пускать всех, чем блокировать через htaccess сетками.

Mik Foxi
На сайте с 02.03.2011
Offline
1196
#10
bizibord #:
В бан тоже ставил, около года отдавал 403-е всяким Hetzner, Delta-ltd, Selectel и прочим, но сказалось на позициях такая блокировка. Такое чувство, что пару процентов оттуда все-таки живые идут. 

не могло это сказаться. понятно что ты забанил некоторое количество живых пользователей, идущих с впн, но недошедший не влиет. вличет дошедший и испортивший, с мегафона бототраф если не чистишь, то он и портит все.

bizibord #:
как получал ботность до 30% ночью, так и получаю.

тогда скорее всего это точно боты. но я встечался с ситуациями когда после модификации метрики, ее способов загрузки, модификации реферера, яндекс начинал сайту почти весь легитимный траф в ботов определять.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий