Клик-боты атакуют! Космический склик в сетях Яндекс, или вопрос на миллиард.

Idonat
На сайте с 24.06.2012
Offline
141
7977
Приветствую всех, хочу поделиться своим мнением по поводу складывающейся ситуации на рынке контекстной и медийной рекламы в Яндексе. Сразу акцентирую внимание на том, что все сказанное является лишь моим субъективным мнением, и пока не подтверждено точными техническими данными. 

Качество трафика падает


Я являюсь постоянным рекламодателем в рекламной сети Яндекс уже почти на протяжении года, и хотя у меня нет большого массива аналитических данных за предыдущие годы ранее, я заметил значительное ухудшение трафика, поступающего из поиска и сетей. Изначально, я думал что проблема в увеличивающейся конкуренции, но открыв отчеты метрики я заметил просто невероятное количество ботов, количество которых только возрастает. 

Если еще той весной я мог рекламироваться в поиске, сегодня это стало уже абсолютно не рентабельным. И вопрос не в сезонности моей темы, а именно в том, что объем живого трафика просто упал. В сетях ситуация обстоит немногим лучше, по моим скромным подсчетом порядка 20-30% переходов на мой сайт по рекламе совершаются ботами. 

Почему снижается рентабельность рекламы?


Серьезные проблемы бот трафик создает не только тем, что генерирует ненужные переходы по рекламе и “съедает” рекламный бюджет, а также еще и тем, что он такой трафик буквально уничтожает аукционную систему выкупа позиций рекламы. 

Что происходит? Боты массово и в рандомном порядке кликают на все объявления в поисковой выдаче и в сетях, изменяя им показатели CTR, и тем самым сбивают логику яндекса, которая отвечает за распределение трафика между конкурентами. Получается что сбитый с толку алгоритм постоянно пытается найти наиболее релевантные объявления, но не может понять точно, что именно ему нужно показать. 

Вследствие этого, получается такая картина: даже при достаточно высокой ставке за клик, объявление штормит в выдаче, и количество трафика не сильно увеличится. При значительном повышении ставки за клик, объявление повышается, однако, на относительно недолгий срок, пока боты опять не начнут кликать. 

Из-за этого, весь смысл аукционной системы просто пропадает, и я, как рекламодатель, вынужден как гимнаст на канате балансировать и постоянно играть со ставками, с одной стороны, чтобы не выходить в жесткий минус, а с другой – чтобы не лишиться трафика вовсе. 

«Усталость» рекламной кампании


Следствием из вышеописанного возникает такое состояние РК, которое некоторые пользователи серча и директологи называют «усталостью» рекламной кампании. Суть такова: через несколько дней/недель/месяцев открута (зависит от тематики и объемов трафика) – эффективность рекламной кампании значительно снижается. Трафик продолжает отливаться, а количество лидов падает. Причем на дистанции падение заявок продолжается сокращаться.

Если же рекламную кампанию остановить на какое-то время, либо изменить какие-то настройки, качество трафика вновь значительно возрастает, но, как правило, ненадолго. И в первом, и во втором случае, объем трафика практически одинаков, CTR, показы, отказы – все остается почти прежним, падает лишь качество трафика. 

Очевидно, что данная ситуация происходит из-за сбоя, или некорректной работы одного из алгоритмов рекламной сети яндекса, отвечающего за показ и ранжирование объявлений. 

Эта ситуация наблюдается не только у меня, а также и у других людей, обсуждение было в этой теме, и в других (в том же разделе): https://searchengines.guru/ru/forum/1040500

Космические масштабы скликивания рекламы на поиске и в сетях


В данный момент масштабы скликивания рекламы носят по-настоящему грандиозный характер, сегодня уже в принципе нельзя запустить рекламную кампанию, и получать трафик без ботов. Процент ботов конечно же сильно зависит от тематики, лично в моей тематике их около 20-30%, а учитывая что у меня далеко не самая конкурентная и дорогая тема, мне страшно представить что творится в серьезных коммерческих тематиках, где клики стоят дорого. 

Проблему усугубляет то, что Яндекс, судя по всему, практически не прилагает усилий по борьбе с бот трафиком. Вчера я открыл отчеты метрики, и нашел посетителя, который сделал 83 визита одного clientid в течение нескольких недель, еще немалое количество посетителей сделали по 30 визитов в разные дни, и это не говоря уже о 3-5 визитах от других ботов, опять же в разные дни. Все они пробыли на сайте не дольше 10-15 секунд, практически не проявляя активности. 

Неужели в логике крутого и продвинутого алгоритма яндекса нет правила, которое бы ограничивало показ рекламы для пользователя, сделавшего 83 перехода на сайт, и не проявившего на нем никакой активности?

Программисты яндекса разработали и внедрили алгоритм распознающий накрутку поведенческих факторов для серой SEO оптимизации сайтов, и даже добавили фильтр за накрутку ПФ. Так как же в самой рекламной системе яндекса могут быть такие ужасные недоработки? 

Кто кликает по рекламе? Откуда боты, и зачем?


Многие рекламодатели, видя склик рекламы, думают что это таким образом их пытаются вытеснить конкуренты, однако, смею вас заверить, в большинстве случаев это не так. Дела обстоят намного хуже, и эта проблема носит абсолютно глобальный характер. 

Изучая форумы и разные мнения в интернете, я пришел к выводу, что количество бот кликов в рекламе выросло во всех тематиках, даже в самых мало конкурентных и дешевых. Скликивают на заказ рекламу только в самых дорогих и супер конкурентных тематиках, услуги эти не пользуются огромной популярностью, и мало афишируются где-либо. Был бы большой спрос, услуги склика рекламировались бы где-попало, а по факту есть буквально десяток полумертвых тем на разных форумах. 

Откуда же тогда бот трафик? Зачем боты кликают по вашей рекламе? И кому это нужно? – Ответ на этот вопрос довольно прост: на этом зарабатывают недобросовестные владельцы сайтов, монетизируемых в рекламной сети яндекса. За каждый клик по рекламе на их сайте, они получают оплату, и это безусловно выгодно для них. 

Почему же тогда боты так массово кликают по всей рекламе, размещаемой где угодно, включая поиск и смежные площадки. Ответ на этот вопрос также довольно прост. Таким образом боты “прокачивают” и “нагуливают” свой профиль, чтобы более успешно выдавать себя за реальных людей. Ведь согласитесь, если один и тот же бот будет постоянно заходить на один сайт и кликать по рекламе, он однозначно довольно быстро будет обнаружен системой клик-форда, и заблокирован. 

«Странные переходы из всех соцсетей» - зачем боты атакуют интернет?


Также боты постоянно посещают разнообразные сайты в рандомном порядке, стараясь выдать себя за реальных пользователей. еще весной 2020 года, огромное количество администраторов сайта заметили, что на их сайтах появился поток большого количества ботов, переходящих из самых разнообразных источников (в основном из социальных сетей). Вот ссылка на тему с обсуждением: https://searchengines.guru/ru/forum/1029854

Уже тогда один из пользователей ответил, что это “боты накрутчиков”, однако каких именно накрутчиков, и зачем – он не уточнил. Подавляющее же большинство администраторов сайтов вообще недоумевали, что это за боты. 

Изучая темы на разных форумах, я пришел к тому, что боты посещают только сайты, где установлен код яндекс метрики. Что подтверждало сказанное пользователем ранее. Это действительно боты накрутчиков, они нагуливают профили, чтобы потом кликать по рекламе на нужных сайтах, цель посещения рандомных сайтов состоит в том, чтобы показать яндекс метрике их активность. Вероятнее всего, если спрятать от них код метрики, или вовсе убрать её с сайта, бот трафик пропадет, ибо смысла посещать сайт просто не будет. 

Мало того, что эти боты уничтожают рынок контекстной рекламы, они еще и убивают ПФ (поведенческие факторы) сайтов, провоцируя проседание позиций страниц в поисковой выдаче. Для некоторых администраторов сайтов в дорогих тематиках это провоцирует очень большие денежные потери. 

Кому выгодны эти боты?


Очевидно, что в первую очередь эти боты приносят немалые деньги накрутчикам, которые владеют целыми сетками сайтов в РСЯ. Некоторые рекламодатели, размещающие рекламу в директе высказывали мнения, что бот трафик генерирует сам яндекс, чтобы увеличить прибыль от рекламы, и спровоцировать повышение ставок в поиске и сетях. Я очень сомневаюсь в этом, но как человек с критическим умом, не могу отвергать и такую вероятность. Особенно учитывая то, что яндекс очень слабо борется с этим явлением. 

Даже беглым изучением посетителей перешедших по рекламе на мой сайт, я нашел огромное количество ботов, число визитов которых достигало до 83 с одного clientID, как я уже писал выше. И это совершенно неединичный случай, очень много ботов с 5-10-20 визитами в разные дни. Никакой компенсации за недобросовестные клики я не получил, в лучшем случае раз в неделю приходит шаблонное письмо с компенсацией в размере 2-3 рублей (1-2 клика). Хотя я уверен, что только за неделю набирается порядка 300-500 недобросовестных бот кликов.

Отсеивать площадки вручную бесполезно, так как низкокачественный бот трафик идет в больших количествах даже с хороших и проверенных площадок, чьи администраторы не занимаются никакими накрутками. Я работаю в довольно простой и недорогой тематике, потери от ботов у меня составляют не более 1-3 тыс рублей в неделю, но мне действительно страшно представить, что сейчас происходит в дорогих тематиках, где цена клика уходит за 100 рублей.

Что делать, как решать проблему?


Сложно сказать, как именно можно решить проблему с ботами. Очевидно, что существующих мер распознавания ботов уже недостаточно для их отсеивания. Боты уже умеют эмулировать любое устройство, подставлять любой реффер перехода, создавать правдоподобный отпечаток (fingerprint). Однако, я считаю что все на так ужасно, и есть способы если не полного, то хотя бы частичного решения этой проблемы. 

Во первых, значительно усовершенствовать алгоритм, распознавания ботов. И я в самом деле не думаю что тут нужно быть гением, чтобы понять, что живой человек не будет заходить на сотню сайтов по сто раз, проводя на них по 10-15 секунд. Да, это не избавит от умных ботов, имитирующих поведение пользователей, но хотя бы отсеит самых простых и топорных ботов, коих большинство. 

Во вторых, усилить модерацию добавляемых в РСЯ сайтов, дорвеи, статейники на копипасте и парсерах не должны туда попадать, так как очевидно что владельцы этих сайтов вряд ли будут гнушаться накручивать клики, зная что ценность самих ресурсов почти нулевая.

В третьих, было бы очень неплохо провести ревизию уже добавленных сайтов, чтобы исключить недобросовестные площадки. 

В четвертых, начать уже в конце концов выплачивать рекламодателям компенсацию за бот-клики. Как я понимаю, сегодня, деньги заработанные заблокированными за фрод в РСЯ сайтов, просто уходят в бюджет яндекса. Если я вижу у себя в статистике бота, который сделал 83 клика по моей рекламе за месяц, я должен получить оплату за эти клики назад, а не пожертвовать деньги яндексу. Я, итак, оплачиваю 20% НДС, и “разгон рекламной кампании” (завышение ставок на клики), без которого РК просто не идет в показ в принципе. 

Заключение


На мой взгляд, проблема действительно серьезная и масштабная. Если с ней не бороться, объем бот трафика уже очень скоро превысит реальный трафик в рекламных сетях. Лично я, как рекламодатель, совершенно не хочу платить за рекламу для ботов, у них еще пока нет ИИ, и товары они не покупают. 

На этом, пожалуй, я закончу свою статью, я постарался ответить на некоторые актуальные вопросы, интересующие как рекламодателей сети, так и администраторов сайтов. Еще раз подчеркну, что все вышесказанное – это моё личное мнение, и мои личные выводы. Если вы не согласны, я с удовольствием прочту вашу критику и выслушаю конструктивные советы. 


На правах экспертного сообщества SearchEngines ©
Q
На сайте с 03.10.2011
Offline
301
#1

Спасибо за статью!

Подскажите, с эдвордс работаете? Интересно, как у них обстоят дела?

Дмитрий Громов
На сайте с 15.08.2018
Offline
339
#2

Добрый день! 

В Директе используется многоступенчатая технология защиты от фрода, включающая в себя как автоматические, так и ручные методы фильтрации всех типов трафика. Клики, которые определяются как ошибочные или недействительные, не учитываются в отчете «Директ, сводка» в Яндекс.Метрике и отчетах статистики Директа. Средства за них не списываются со счета рекламодателя.

Однако мы с коллегами готовы проверить трафик вашей рекламной кампании за конкретный период времени. Для этого, пожалуйста, пришлите мне в личных сообщениях номер кампании, а также даты, когда была замечена описанная вами ситуация и опишите более подробно, почему вы считаете, что это фрод. Внимательно проанализируем кампанию и я вернусь с ответом.

Буду рад ответить на ваши вопросы про Директ, РСЯ, ADFOX, Метрику и Бизнес.
ТТ
На сайте с 06.02.2008
Offline
131
#3
Дмитрий Громов #:

Добрый день! 

В Директе используется многоступенчатая технология защиты от фрода, включающая в себя как автоматические, так и ручные методы фильтрации всех типов трафика. Клики, которые определяются как ошибочные или недействительные, не учитываются в отчете «Директ, сводка» в Яндекс.Метрике и отчетах статистики Директа. Средства за них не списываются со счета рекламодателя.

Однако мы с коллегами готовы проверить трафик вашей рекламной кампании за конкретный период времени. Для этого, пожалуйста, пришлите мне в личных сообщениях номер кампании, а также даты, когда была замечена описанная вами ситуация и опишите более подробно, почему вы считаете, что это фрод. Внимательно проанализируем кампанию и я вернусь с ответом.

Да хотелось бы увидеть результаты проверки

H7
На сайте с 30.01.2013
Offline
87
#4
Проверка покажет что все заебца! и ему это все показалось 😂
H7
На сайте с 30.01.2013
Offline
87
#5

своих партнеров еще 1,5 месяца назад отключил от директа и перевел на другие площадки

склик жесткий

mssqwesto
На сайте с 24.03.2011
Offline
125
#6

Все наблюдения ТС подтверждаю, да судя по лайкам который собирает пост ситуация у многих такая же.

Стабильно от 20 до 40% кликов в зависимости от тематики это боты. 

Так же последние полгода может год сильно упала конверсия с директа (речь про рекламу в поиске), сначала то же грешили на кризис, конкурентов и многие другие факторы.  Но сравнив с другими источниками, а именно поиск и AdWords увидели что дело именно в Директе и мусорном трафике который идет за наши же деньги...

Яндекс и это явно видно бороться с этим не хочет, по каким причинам думаю всем понятно, ведь больше кликов, больше денег они заработаю. 

Бороться с этим бесполезно, им это выгодно и точка, далее лишь делают имитацию деятельности, вон как Громов, счас все передаст все расскажет, а по факту помощи от него ноль.

Мы просто сократили большую часть РК в директе, оставили только высоко маржинальные.

SeoTurkmen
На сайте с 03.11.2013
Offline
108
#7

В Директе такая ситуация уже больше года.

Клики дорожают, их качество все хуже и хуже.

Если сюда приплетать АдВордс. там тупо дешевле , а качество примерно такое же.

Idonat
На сайте с 24.06.2012
Offline
141
#8
qvaro #:

Спасибо за статью!

Подскажите, с эдвордс работаете? Интересно, как у них обстоят дела?

Пожалуйста. С эдвордс не работаю, но думаю что ситуация там примерно та же, с той разницей лишь что гугл, возможно, делает большие компенсации рекламодателям (учитывая информацию из ветки, где люди говорят о возросших списаниях заработанных в их сети средств). 

Idonat
На сайте с 24.06.2012
Offline
141
#9
mssqwesto #:

Все наблюдения ТС подтверждаю, да судя по лайкам который собирает пост ситуация у многих такая же.

Стабильно от 20 до 40% кликов в зависимости от тематики это боты. 

Так же последние полгода может год сильно упала конверсия с директа (речь про рекламу в поиске), сначала то же грешили на кризис, конкурентов и многие другие факторы.  Но сравнив с другими источниками, а именно поиск и AdWords увидели что дело именно в Директе и мусорном трафике который идет за наши же деньги...

Яндекс и это явно видно бороться с этим не хочет, по каким причинам думаю всем понятно, ведь больше кликов, больше денег они заработаю. 

Бороться с этим бесполезно, им это выгодно и точка, далее лишь делают имитацию деятельности, вон как Громов, счас все передаст все расскажет, а по факту помощи от него ноль.

Мы просто сократили большую часть РК в директе, оставили только высоко маржинальные.

Останавливать РК не вариант, все таки Яндекс монополисты на рынке ру трафика, и как не крути, самые горячие клиенты у них. Попробуйте составить отчет по бот кликам, и отписать в поддержку, возможно они начислят вам компенсацию хотя-бы. Автоматическая система компенсации совершенно не работает, она, судя по всему, сделана только для виду. 

AlexLight
На сайте с 04.02.2013
Offline
99
#10
Мне бы ваши проблемы с ботами. Тут модерацию никак пройти невозможно. Для начала.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий