Адблокеры. Реальный масштаб проблемы

12 3
nocomments
На сайте с 12.11.2009
Offline
176
3510

Заметил, что последнее время некоторые внутренние цифры всё меньше бъются с Метрикой. Шли годы, а "посещалка" (теперь вот да, в кавычках) почти не росла и закрались смутные сомненья. Добрые люди подсказали, что враги блокируют вместе с рекламой и системы статистики. Решил посмотреть изнутри, сколько именно. Первая мысль была приделать для этого Piwik-Матомо, но, как пишут коллеги, его блокируют с не меньшим успехом.

Покажу все цифры и весь нехитрый инструментарий, чтобы проверить эту "наколенку", потому что не исключаю, что могу где-то ошибаться. Сайт на нескольких языках, русскоязычных 60-70%.

В целях клоакинга, на этом сайте, боты отделяются (им потом показываются доры вместо настоящего контента, шутка) на входе вот таким образом:

Все неботы записываются в файл таким образом:

Т.е. название файла = день.сессия, содержимое, каждая строчка = ip урл

Боты пишутся отдельно на день и их там дофига, боты в сумме кушают на этом сайте около 100 тыс. страниц за сутки.

Мониторю, что понимать какая нагрузка им уходит и не попало ли туда что-то лишнее.

Что таким образом получается, например за вчера, Метрика, Аналитикс:

Собственная статистика:

52101

Т.е., если это всё верно, Метрика знает о 37% всех посещений, Аналитикс о 27%. И, скорее всего, во многих цифрах в Метрике есть перекосы, так как внедрение адблокеров в разрезе географии, социальных слоёв и т.п. наверняка неоднородное. Аналитикс в мире более известная система, его видимо блокирует больший процент адблокеров, отсюда - он знает ещё меньше. Даже SimilarWeb оказывается ближе к истине, хотя ваще непонятно откуда он берёт данные.

Идём дальше. Видимо есть блокировщики, которые не блокируют Метрику (посмотрел, самые известные с дефолтными настройками в их число вроде не входят) и вот по ним Метрика умеет показывать "остаточную" статистику. У меня она такая:

Там за последний месяц в диапазоне 50-70%, за вчера 50%, 9600. Эта цифра равна отрисовкам в кабинете партнёрской сети Яндекса.

На всякий случай проверил, не попадает ли лишнего в неботы. Во-первых максимальное количество страниц одним уником примерно такое же как в Метрике или Аналитиксе, без аномалий. Ещё, адресов ip, которые попадались бы в разных файлах т.е. с разными сессиями), нет, тоже без аномалий.

Вот такая хрень. Если всё считается правильно, то на данный момент,

юзеров с адблокерами, 80-85%

Это бабло, которое вынимается из бизнеса издателей. Никто не нанёс такого ущерба развитию интернета, как адблокеры. Что с этим делать в условиях отсутствия интереса к теме у яндекса и гугла, хз. Прямых рекламодателей стало сильно меньше, все ушли в RTB. Партнёрки с китайской хернёй, хорошо что они есть, но это пока не замена приличной рекламе.

Это счастливая рефка: {жать сюда} (http://bit.ly/WbMR4O) тому, кто по ней разместит больше всего статей, будет сопутствовать счастье всю его оставшуюся, длинную, обеспеченную жизнь.
AP
На сайте с 23.03.2016
Offline
72
#1

Интересная стата. Я описал некоторые проблемы ловли рыбы пользователей JS-ом в кейсе. http://prntscr.com/jnyozb

Рекомендую смотреть в эту сторону

Аналитикс - https://developers.google.com/analytics/devguides/collection/protocol/v1/?hl=ru . Юзали Икоников https://github.com/theiconic/php-ga-measurement-protocol

Занимаюсь хождением с умным видом по офису. Доктор наук в области ИБД. Прораб на галере. Сервис точного расчета рентабельности по каналам без необходимости сбора и анализа данных - Будет рентабельно? ( https://randstuff.ru/ask/ )
AlexStep
На сайте с 23.03.2009
Offline
354
#2
nocomments:
Собственная статистика:
52101

Скорее всего, много ботов все таки попало в статистику.

Вот бы сделать учет посещаемости с помощью JS скрипта, написать собственный счетчик с блэкджеком и дамами, который не будет блокироваться Адблоком, по крайней мере какое-то время...

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#3

:D вы насчитали ботов. Нету никаких 80-85% блокировщиков.

Боты сейчас все больше ходят как браузеры, т.е. юзераген не "бот" и обычный хром, и выполняются оs и картинки. Вот их вы и считаете.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
nocomments
На сайте с 12.11.2009
Offline
176
#4
foxi:
:D вы насчитали ботов. Нету никаких 80-85% блокировщиков.
Боты сейчас все больше ходят как браузеры, т.е. юзераген не "бот" и обычный хром, и выполняются оs и картинки. Вот их вы и считаете.

Тогда пара простых вопросов.

Метрика их каким образом отсеивает?

С какого хера тысячи непонятных ботов ходят по разным страницам у меня?

Ну и собственно, Метрика, которая легко показывает 70% блокировщиков, она вот прямо точно-преточно работает и даже тогда, когда её не загружает блокировщик?

Просто хочу понять, что это за боты такие в таких количествах, о которых все знают кроме меня.

AlexStep:
Вот бы сделать учет посещаемости с помощью JS скрипта

Загнать это в js не проблема, лишний запрос только. Но если как пишет foxy они и картинки тянут и выполняют js, то разница какая. Он запросит этот файл.

AlexStep
На сайте с 23.03.2009
Offline
354
#5
nocomments:
картинки тянут и выполняют js, то разница какая. Он запросит этот файл.

Есть различные решения для определения блокировщиков. Можно взять что-то из этого и присобачить к нему учет срабатываний. Зафиксирован Адблок и +1 к счетчику. Хз как реализовать, не силен в JS. В этом случае боты не должны фиксироваться, по крайней мере если они не блокируют рекламу.

nocomments
На сайте с 12.11.2009
Offline
176
#6
AlexStep:
Есть различные решения для определения блокировщиков. Можно взять что-то из этого и прособачить к нему учет срабатываний. Зафиксирован Адблок и +1 к счетчику. Хз как реализовать, не силен в JS. В этом случае боты не должны фиксироваться, по крайней мере если они не блокируют рекламу.

Определяем это и используем, это очень просто три строчки в коде. Просто людей с "есть блокировщик" оказывается больше чем "всего пришло на сайт по мнению метрики".

Тут суть проблемы в том, что есть живые люди, совершающие целевые действия, которых Метрика часто сильно недосчитывается. И статистику по ним не посмотреть поэтому.

Кроме того, Метрика вот писала от 50 до 70% "блокировщик используется", но при этом самые известные блокировщики блокируют и Метрику. Значит эта цифра должна быть немного больше, нет, foxy?

NothingMatters
На сайте с 12.06.2017
Offline
45
#7
nocomments:
Определяем это и используем, это очень просто три строчки в коде. Просто людей с "есть блокировщик" оказывается больше чем "всего пришло на сайт по мнению метрики".
Тут суть проблемы в том, что есть живые люди, совершающие целевые действия, которых Метрика часто сильно недосчитывается. И статистику по ним не посмотреть поэтому.

Кроме того, Метрика вот писала от 50 до 70% "блокировщик используется", но при этом самые известные блокировщики блокируют и Метрику. Значит эта цифра должна быть немного больше, нет, foxy?

Ну узнаешь ты что 60% людей используют блокировщики, тебе легче станет? Сейчас тенденция идет к встраиванию блокировщиков прям в браузеры (опера уже давно это сделала).

Тут нужно думать не "как мне этих мерзавцев заставить отключить адблок", а "какие есть способы монетизации, которые не напрягают пользователей и приносят доход?".

Конечно 99% сайтов такой вариант не подходит, так как ГСы (которые почему-то называют СДЛ), ничем кроме адсенс\рся\тизерами не монетезируешь толком. Но... who cares?

orphelin
На сайте с 02.07.2006
Offline
261
#8
nocomments:
Видимо есть блокировщики, которые не блокируют Метрику (посмотрел, самые известные с дефолтными настройками в их число вроде не входят)
nocomments:
но при этом самые известные блокировщики блокируют и Метрику

так как в итоге-то?

nocomments
На сайте с 12.11.2009
Offline
176
#9
NothingMatters:
какие есть способы монетизации, которые не напрягают пользователей и приносят доход?

Правильно, но какие? Китайское говно из партнёрок, тизеры с мёртвыми Якубовичами? Прямые реклы в последнее время прямым текстом говорят, что заказывают контекст и это дешевле.

Обращался с вопросом в техподдержку Яндекса, ответили, что "их программисты работают и как только будет решение, они обязательно об этом всем рассскажут".

---------- Добавлено 29.05.2018 в 13:01 ----------

orphelin:
так как в итоге-то?

Так и есть, основные блокируют, но не все.

W
На сайте с 19.11.2010
Offline
92
#10

Есть более официальная статистика: в 1 квартале 2016 года "34,7% российских десктоп-пользователей пользуются блокировщиками рекламы, говорится в исследовании компании Cloud Technologies".

В процентном соотношении на декабрь 2016 (исследование PageFair):

С каждым годом число пользователей блокировщиков стремительно растет, но сомневаюсь что на текущий момент это 60% и более.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий