Клик-боты атакуют! Космический склик в сетях Яндекс, или вопрос на миллиард.

Idonat · 2021-01-14T19:46:23.0000000Z

Приветствую всех, хочу поделиться своим мнением по поводу складывающейся ситуации на рынке контекстной и медийной рекламы в Яндексе. Сразу акцентирую внимание на том, что все сказанное является лишь моим субъективным мнением, и пока не подтверждено точными техническими данными. Качество трафика падает Я являюсь постоянным рекламодателем в рекламной сети Яндекс уже почти на протяжении года, и хотя у меня нет большого массива аналитических данных за предыдущие годы ранее, я заметил значительное ухудшение трафика, поступающего из поиска и сетей. Изначально, я думал что проблема в увеличивающейся конкуренции, но открыв отчеты метрики я заметил просто невероятное количество ботов, количество которых только возрастает. Если еще той весной я мог рекламироваться в поиске, сегодня это стало уже абсолютно не рентабельным. И вопрос не в сезонности моей темы, а именно в том, что объем живого трафика просто упал. В сетях ситуация обстоит немногим лучше, по моим скромным подсчетом порядка 20-30% переходов на мой сайт по рекламе совершаются ботами. Почему снижается рентабельность рекламы? Серьезные проблемы бот трафик создает не только тем, что генерирует ненужные переходы по рекламе и съедает рекламный бюджет, а также еще и тем, что он такой трафик буквально уничтожает аукционную систему выкупа позиций рекламы. Что происходит? Боты массово и в рандомном порядке кликают на все объявления в поисковой выдаче и в сетях, изменяя им показатели CTR, и тем самым сбивают логику яндекса, которая отвечает за распределение трафика между конкурентами. Получается что сбитый с толку алгоритм постоянно пытается найти наиболее релевантные объявления, но не может понять точно, что именно ему нужно показать. Вследствие этого, получается такая картина: даже при достаточно высокой ставке за клик, объявление штормит в выдаче, и количество трафика не сильно увеличится. При значительном повышении ставки за клик, объявление повышается, однако, на относительно недолгий срок, пока боты опять не начнут кликать. Из-за этого, весь смысл аукционной системы просто пропадает, и я, как рекламодатель, вынужден как гимнаст на канате балансировать и постоянно играть со ставками, с одной стороны, чтобы не выходить в жесткий минус, а с другой чтобы не лишиться трафика вовсе. «Усталость» рекламной кампании Следствием из вышеописанного возникает такое состояние РК, которое некоторые пользователи серча и директологи называют «усталостью» рекламной кампании. Суть такова: через несколько дней/недель/месяцев открута (зависит от тематики и объемов трафика) эффективность рекламной кампании значительно снижается . Трафик продолжает отливаться, а количество лидов падает. Причем на дистанции падение заявок продолжается сокращаться. Если же рекламную кампанию остановить на какое-то время, либо изменить какие-то настройки, качество трафика вновь значительно возрастает, но, как правило, ненадолго. И в первом, и во втором случае, объем трафика практически одинаков, CTR, показы, отказы все остается почти прежним, падает лишь качество трафика. Очевидно, что данная ситуация происходит из-за сбоя, или некорректной работы одного из алгоритмов рекламной сети яндекса, отвечающего за показ и ранжирование объявлений. Эта ситуация наблюдается не только у меня, а также и у других людей, обсуждение было в этой теме, и в других (в том же разделе): https://searchengines.guru/ru/forum/1040500 Космические масштабы скликивания рекламы на поиске и в сетях В данный момент масштабы скликивания рекламы носят по-настоящему грандиозный характер, сегодня уже в принципе нельзя запустить рекламную кампанию, и получать трафик без ботов. Процент ботов конечно же сильно зависит от тематики, лично в моей тематике их около 20-30%, а учитывая что у меня далеко не самая конкурентная и дорогая тема, мне страшно представить что творится в серьезных коммерческих тематиках, где клики стоят дорого. Проблему усугубляет то, что Яндекс, судя по всему, практически не прилагает усилий по борьбе с бот трафиком. Вчера я открыл отчеты метрики, и нашел посетителя, который сделал 83 визита одного clientid в течение нескольких недель, еще немалое количество посетителей сделали по 30 визитов в разные дни, и это не говоря уже о 3-5 визитах от других ботов, опять же в разные дни. Все они пробыли на сайте не дольше 10-15 секунд, практически не проявляя активности. Неужели в логике крутого и продвинутого алгоритма яндекса нет правила, которое бы ограничивало показ рекламы для пользователя, сделавшего 83 перехода на сайт, и не проявившего на нем никакой активности? Программисты яндекса разработали и внедрили алгоритм распознающий накрутку поведенческих факторов для серой SEO оптимизации сайтов, и даже добавили фильтр за накрутку ПФ. Так как же в самой рекламной системе яндекса могут быть такие ужасные недоработки? Кто кликает по рекламе? Откуда боты, и зачем? Многие рекламодатели, видя склик рекламы, думают что это таким образом их пытаются вытеснить конкуренты, однако, смею вас заверить, в большинстве случаев это не так . Дела обстоят намного хуже, и эта проблема носит абсолютно глобальный характер. Изучая форумы и разные мнения в интернете, я пришел к выводу, что количество бот кликов в рекламе выросло во всех тематиках, даже в самых мало конкурентных и дешевых. Скликивают на заказ рекламу только в самых дорогих и супер конкурентных тематиках, услуги эти не пользуются огромной популярностью, и мало афишируются где-либо. Был бы большой спрос, услуги склика рекламировались бы где-попало, а по факту есть буквально десяток полумертвых тем на разных форумах. Откуда же тогда бот трафик? Зачем боты кликают по вашей рекламе? И кому это нужно? Ответ на этот вопрос довольно прост: на этом зарабатывают недобросовестные владельцы сайтов , монетизируемых в рекламной сети яндекса. За каждый клик по рекламе на их сайте, они получают оплату, и это безусловно выгодно для них. Почему же тогда боты так массово кликают по всей рекламе, размещаемой где угодно, включая поиск и смежные площадки. Ответ на этот вопрос также довольно прост. Таким образом боты прокачивают и нагуливают свой профиль , чтобы более успешно выдавать себя за реальных людей. Ведь согласитесь, если один и тот же бот будет постоянно заходить на один сайт и кликать по рекламе, он однозначно довольно быстро будет обнаружен системой клик-форда, и заблокирован. «Странные переходы из всех соцсетей» - зачем боты атакуют интернет? Также боты постоянно посещают разнообразные сайты в рандомном порядке, стараясь выдать себя за реальных пользователей. еще весной 2020 года, огромное количество администраторов сайта заметили, что на их сайтах появился поток большого количества ботов, переходящих из самых разнообразных источников (в основном из социальных сетей). Вот ссылка на тему с обсуждением: https://searchengines.guru/ru/forum/1029854 Уже тогда один из пользователей ответил, что это боты накрутчиков, однако каких именно накрутчиков, и зачем он не уточнил. Подавляющее же большинство администраторов сайтов вообще недоумевали, что это за боты. Изучая темы на разных форумах, я пришел к тому, что боты посещают только сайты, где установлен код яндекс метрики. Что подтверждало сказанное пользователем ранее. Это действительно боты накрутчиков, они нагуливают профили, чтобы потом кликать по рекламе на нужных сайтах, цель посещения рандомных сайтов состоит в том, чтобы показать яндекс метрике их активность. Вероятнее всего, если спрятать от них код метрики, или вовсе убрать её с сайта, бот трафик пропадет, ибо смысла посещать сайт просто не будет. Мало того, что эти боты уничтожают рынок контекстной рекламы, они еще и убивают ПФ (поведенческие факторы) сайтов, провоцируя проседание позиций страниц в поисковой выдаче. Для некоторых администраторов сайтов в дорогих тематиках это провоцирует очень большие денежные потери. Кому выгодны эти боты? Очевидно, что в первую очередь эти боты приносят немалые деньги накрутчикам, которые владеют целыми сетками сайтов в РСЯ. Некоторые рекламодатели, размещающие рекламу в директе высказывали мнения, что бот трафик генерирует сам яндекс, чтобы увеличить прибыль от рекламы, и спровоцировать повышение ставок в поиске и сетях. Я очень сомневаюсь в этом, но как человек с критическим умом, не могу отвергать и такую вероятность. Особенно учитывая то, что яндекс очень слабо борется с этим явлением. Даже беглым изучением посетителей перешедших по рекламе на мой сайт, я нашел огромное количество ботов, число визитов которых достигало до 83 с одного clientID, как я уже писал выше. И это совершенно неединичный случай, очень много ботов с 5-10-20 визитами в разные дни. Никакой компенсации за недобросовестные клики я не получил, в лучшем случае раз в неделю приходит шаблонное письмо с компенсацией в размере 2-3 рублей (1-2 клика). Хотя я уверен, что только за неделю набирается порядка 300-500 недобросовестных бот кликов. Отсеивать площадки вручную бесполезно , так как низкокачественный бот трафик идет в больших количествах даже с хороших и проверенных площадок, чьи администраторы не занимаются никакими накрутками. Я работаю в довольно простой и недорогой тематике, потери от ботов у меня составляют не более 1-3 тыс рублей в неделю, но мне действительно страшно представить, что сейчас происходит в дорогих тематиках, где цена клика уходит за 100 рублей. Что делать, как решать проблему? Сложно сказать, как именно можно решить проблему с ботами. Очевидно, что существующих мер распознавания ботов уже недостаточно для их отсеивания. Боты уже умеют эмулировать любое устройство, подставлять любой реффер перехода, создавать правдоподобный отпечаток (fingerprint). Однако, я считаю что все на так ужасно, и есть способы если не полного, то хотя бы частичного решения этой проблемы. Во первых, значительно усовершенствовать алгоритм, распознавания ботов. И я в самом деле не думаю что тут нужно быть гением, чтобы понять, что живой человек не будет заходить на сотню сайтов по сто раз, проводя на них по 10-15 секунд. Да, это не избавит от умных ботов, имитирующих поведение пользователей, но хотя бы отсеит самых простых и топорных ботов, коих большинство. Во вторых, усилить модерацию добавляемых в РСЯ сайтов, дорвеи, статейники на копипасте и парсерах не должны туда попадать, так как очевидно что владельцы этих сайтов вряд ли будут гнушаться накручивать клики, зная что ценность самих ресурсов почти нулевая. В третьих, было бы очень неплохо провести ревизию уже добавленных сайтов, чтобы исключить недобросовестные площадки. В четвертых, начать уже в конце концов выплачивать рекламодателям компенсацию за бот-клики . Как я понимаю, сегодня, деньги заработанные заблокированными за фрод в РСЯ сайтов, просто уходят в бюджет яндекса. Если я вижу у себя в статистике бота, который сделал 83 клика по моей рекламе за месяц, я должен получить оплату за эти клики назад, а не пожертвовать деньги яндексу. Я, итак, оплачиваю 20% НДС, и разгон рекламной кампании (завышение ставок на клики), без которого РК просто не идет в показ в принципе. Заключение На мой взгляд, проблема действительно серьезная и масштабная. Если с ней не бороться, объем бот трафика уже очень скоро превысит реальный трафик в рекламных сетях. Лично я, как рекламодатель, совершенно не хочу платить за рекламу для ботов, у них еще пока нет ИИ, и товары они не покупают. На этом, пожалуй, я закончу свою статью, я постарался ответить на некоторые актуальные вопросы, интересующие как рекламодателей сети, так и администраторов сайтов. Еще раз подчеркну, что все вышесказанное это моё личное мнение, и мои личные выводы. Если вы не согласны, я с удовольствием прочту вашу критику и выслушаю конструктивные советы.

87

freesorgo

4 декабря 2021, 18:38

#61

Дмитрий Громов #:

Здравствуйте! Посмотрю кампанию с командой Директа и вернусь по результату.

Спасибо. Почему то метрика иногда не считает визиты одинаковых посетителей. И поэтому в сегмент не запихнуть таких многозаходящих. Вот сегодняшний пример:

M-Direct.ru (https://m-direct.ru) - комплекс автоматизации работы с Яндекс Директ. Бриф на рекламу (https://m-direct.ru/agency/creation-brief) - теперь и создание/ведение рекламы. Парсинг сайтов (https://m-direct.ru/parsers/parser-saytov) - парсеры на заказ.

861

alaev

4 декабря 2021, 20:21

#62

freesorgo #:

Спасибо. Почему то метрика иногда не считает визиты одинаковых посетителей. И поэтому в сегмент не запихнуть таких многозаходящих. Вот сегодняшний пример:

Они могут кликать из разных подсетей одного оператора. Стоит настроить отображение ip.

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама

339

Дмитрий Громов

13 декабря 2021, 14:26

#63

freesorgo #:

А такой склик победить? Резко возрос CTR без конверсий. Кампания № 67483567

Здравствуйте. Спасибо, что подождали. Команда всё проверила и по результатам вам была сделана компенсация, об этом уже должно прийти письмо на почту. Посмотрите, пожалуйста.

Буду рад ответить на ваши вопросы про Директ, РСЯ, ADFOX, Метрику и Бизнес.

87

freesorgo

13 декабря 2021, 22:10

#64

Дмитрий Громов #:

Здравствуйте. Спасибо, что подождали. Команда всё проверила и по результатам вам была сделана компенсация, об этом уже должно прийти письмо на почту. Посмотрите, пожалуйста.

Спасибо, надеюсь - когда-нибудь Директ сможет это автоматически делать.

1

339

Дмитрий Громов

15 декабря 2021, 13:58

#65

freesorgo #:

Спасибо. Почему то метрика иногда не считает визиты одинаковых посетителей. И поэтому в сегмент не запихнуть таких многозаходящих. Вот сегодняшний пример:

Здравствуйте! Эта ситуация связана с влиянием новой политики приватности Apple. Посетитель, который был определен как новый, переходил на сайт, используя версию Safari 12. Мы развиваем наши инструменты, чтобы пользователи Метрики по-прежнему могли получать актуальные данные о поведении посетителей. Наши решения позволяют определять переходы в популярных версиях браузеров с ограничением межсайтовых отслеживающих cookies, но на некоторые версии, количество пользователей которых крайне невелико (как в случае с Safari 12), это не распространяется.

Яндекс тестирует новый параметр Выдачу колбасит? Google обвиняют в слежке

861

alaev

15 декабря 2021, 15:54

#66

Дмитрий Громов #:

Здравствуйте! Эта ситуация связана с влиянием новой политики приватности Apple. Посетитель, который был определен как новый, переходил на сайт, используя версию Safari 12. Мы развиваем наши инструменты, чтобы пользователи Метрики по-прежнему могли получать актуальные данные о поведении посетителей. Наши решения позволяют определять переходы в популярных версиях браузеров с ограничением межсайтовых отслеживающих cookies, но на некоторые версии, количество пользователей которых крайне невелико (как в случае с Safari 12), это не распространяется.

Тех, у кого установлен Adblock, ваша метрика не видела и видеть не будет, зато она прекрасно пишет ботов или записывает людей в боты.

От Яндекса чудес не ждём. Желаю поскорее деградировать в Авито и закончить с баснями про поиск. Смешно.

Сказки стоит рассказывать акционерам. Тут не та публика.

6

Яндекс тестирует новый параметр Что происходит в яндексе Для тех кто стрижет

Маркетинг для шоколадной фабрики. На 34% выше средний чек

В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов