Как лучше реализовать A/B тестинг объявлений?

компания - Майкрософт, Газпром

кампания - военная, рекламная

разные кампании, с группами объявлений не геморройно, с ними вообще толком не сделать а/б тест.

Просто конверт монстер пишет и говорит что надо разные кампании, потом общие стр сравниваешь и все. а если погуглить, то везде пишут и на форуме яндекса и в помощи яндекса и на сторонних бордах, что типа через группы объявлений делается а/б тестинг?

И если делать через компании ну сравним мы общие стр, а детально по объявлениям можно будет сравнить то?

И еще вопрос как совместить вот три вещи, аб тестинг объявлений в директе, аб тестинг лендинг пейдж и динамические заголовки? Я вот представляю так сначала надо тестить объявления, потом через 14 дней закончив тест объявлений, начинаем аб тест лендинга чтоб они между друг другом не пересекались, АБ тест лендинга делаем либо через скрипт-видел на ютубе, либо опять же через разные компании, в итоге идем в метрику смотрим где цель больше выполнялась на каком лендинге.

Но при этом нам надо еще чтоб у нас были разные заголовки на лендинге во время тестов объявлений и во время аб теста лендинга, и так же в свободное время когды мы ничего не тестим уже, в этом случае есть два варианта либо делать несколько страниц чтоб были заголовки разные, либо вставлять скрипт ютм в лендинг, но скрипт не особо нравиться потому как будет я думаю корявые заголовки от этого. Вот как бы все это эффективно сделать?

Сравнивать нужно не CTR, зачем он вам? Вам же не CTR нужен, верно? Сравнивайте то, что вам в действительности нужно. Продажи =) Вот их и сравнивайте

ну, как-то так, да

Спасибо за ответы!

И еще вопрос, если мы делаем для аб тестинга разные кампании с одинаковыми ключами но разными объявлениями, у нас ведь показы для этих кампаний будут делиться поровну.но вот в какой-то момент показываться будут только те объявления у которых самый высокий стр, вот а когда этот момент наступит то?

Вот здесь аб тестинг объявлений реализован через группы объявлений как то? Разве не эффективно?

Более полугода назад Яндекс.Директ запустил новую функцию для групп объявлений, позволяющую проводить тестирование практически любого элемента рекламы: текста объявлений, изображений, посадочных страниц, дополнительных ссылок и даже контактной информации.

Принцип работы данной функции, а лучше сказать — метода тестирования, достаточно простой. Запущенные к тестированию объявления показываются по очереди до тех пор, пока по ним не накопится достаточное количество статистических данных. Как только это происходит, система начинает чаще показывать по заданным ключевым фразам вариант с наиболее высоким показателем CTR. Таким образом, для каждой рекламной кампании есть возможность протестировать разные информационные материалы и автоматически выбрать из них наиболее привлекательные для аудитории.

Однако автоматический выбор объявления-победителя не всегда подходит, и зачастую по тестируемым материалам требуется развёрнутая статистика. Несмотря на недавние положительные изменения в возможностях сбора статистики в группах объявлений, многие специалисты при работе с данным методом тестирования сталкиваются с проблемой получения полных статистических данных, таких как CTR, CPC, расход по тому или иному элементу тестирования. И это неудивительно. Ведь возможности увидеть статистику по группам и объявлениям в одном отчете, с целью выявления наиболее эффективного объявления внутри группы, попросту нет.

Так как же провести тестирование текстов в группах объявлений, получив при этом все необходимые статистические данные?

Цель:

Снизить среднюю стоимость клика

Решение:

Провести A/Б тестирование объявлений

Реализация:

Для проведения тестирования необходимо выбрать наиболее трафиковую рекламную кампанию, потому что количество трафика влияет на точность данных: чем больше выборка данных, тем точнее будут результаты теста. В теории, для запуска теста достаточно добавить новое объявление в существующую группу. На практике, при таком запуске система соберет некорректные данные, потому что накопленная статистика по существующим объявлениям повлияет на результаты тестирования. При запуске старые объявления заведомо обладают более высоким показателем CTR, тогда как CTR новых текстов равен нулю.

1. Навигационная метка

По этой причине, в первую очередь, на объявления, которые участвуют в тестировании, необходимо поставить навигационную метку. Рекомендуется присваивать меткам названия без двойственного понимания. Например «Stop_test_text_140414» подразумевает, что объявления остановлены на тест текстов 14 апреля 2014 года. Использование подобных меток позволяет оперативно возобновить показы объявлений без теста и подсказывает причину остановки объявлений.

2. Выгрузка рекламной кампании

Следующий шаг предполагает выгрузку рекламной кампании, производя которую, настоятельно рекомендуется сохранять первоначальный вид файла: если при запуске тестирования будут выявлены ошибки, исходный файл позволит вернуть кампанию до теста.

Как известно, загрузить в аккаунт рекламные материалы можно с помощью *.xls и *.csv файлов или через API, но программа Директ.Коммандер не позволит это сделать: система будет выдавать ошибку или дублировать объявления.

Подготовка файла с тестируемыми объявлениями потребует терпения, так как является важнейшим этапом запуска тестирования. Прежде всего, в таком файле необходимо удалить остановленные объявления, поскольку нет смысла запускать тест на них, и определяющие идентификаторы: ID группы, номер группы, ID фразы и ID объявления. Если вы выполните данное условие, система примет объявления как новые, что и требуется.

Существует два способа добавить объявления в группы на тест:

Способ 1. В выгруженном файле с существующими объявлениями, но без определяющих идентификаторов, выделяем все строки и копируем. Выбираем ячейку под существующими объявлениями и вставляем скопированные строки (Рис.1).

_1.jpg

Рис.1 Копирование объявлений для запуска тестирования

В скопированных объявлениях в столбце «Доп. объявление» меняем «-» на «+» для того, чтобы система распознала, какие объявления главные, а какие дополнительные (тестируемые). Меняем в новых объявлениях тексты на тестируемые (Рис.2).

Рис.2 Замена текстов в новых объявлениях

В итоге получаем загрузочный файл с добавленными в него вторыми (тестируемыми) вариантами текстов объявлений.

Безусловно, для оценки результатов тестирования и дальнейших действий необходимо будет получить статистические данные.

Для того чтобы получить более подробную статистику в Google.Analytics, нужно добавить utm-метку в каждый url объявления.

Предполагается, что в рекламной кампании используются метки вида: www.site.ru?utm_source=yandex&utm_medium=cpc&utm_campaign=byustgalteri_rsya&utm_content= troynoy_push_ap, где:

utm_source=yandex — источник кампании;

utm_medium=cpc — канал кампании;

utm_campaign=byustgalteri _rsya — название кампании;

utm_content= troynoy_push_ap — ключевое слово.

Для получения статистики о результатах тестирования необходимо дописать «опознавательную» метку в utm_content.

Например, в старые объявления дописываем bez_testa_* (пример: utm_content= bez_testa_troynoy_push_ap), а в объявлениях с тестом дописываем другую метку. Для этого воспользуемся в MS Excel функцией «Найти и заменить». В приведённом ниже примере используются метки bez_testa_* и test_kreativ_* (Рис.3).

_3.jpg

Рис.3 Добавление в utm-метку «опознавательной» части

Обратите внимание, что при автоматической замене есть риск ошибочно изменить часть url в дополнительных ссылках к объявлению или основной url в объявлении так, что ссылки будут вести на страницу с ошибкой 404. При этом трафик будет собираться, но данные будут подгружаться неверные, а это значит, что результаты тестирования окажутся ложными. Такая ошибка может не только значительно снизить коэффициент конверсий, но и повысить ее стоимость, что совсем недопустимо.

После того, как описанные выше действия будут выполнены, файл для запуска тестирования можно считать готовым к загрузке в аккаунт.

Способ 2. Необходимо создать два файла, в одном из которых будет исходная рекламная кампания без определяющих идентификаторов, в другом — только те объявления, которые мы хотим добавить для тестирования. Таким образом, при загрузке файла в аккаунт исходные объявления загружаются как новые. Файл только с тестируемыми объявлениями следует загружать с отмеченным пунктом «добавить в существующую кампанию», а не «изменить кампанию» (Рис.4).

_4.jpg

Рис.4 Загрузка рекламной кампании через интерфейс Яндекс.Директ

После загрузки необходимо выполнить следующие действия:

1. Остановить объявления, которые ранее были отмечены навигационной меткой. В рекламной кампании легко можно выделить помеченные Навигационной меткой объявления (Рис.5).

_5.jpg

Рис.5 Выбор объявлений с Навигационной меткой

2. Проверить корректность загруженных объявлений. Важно, чтобы в одной группе было два объявления (количество зависит от того, сколько объявлений мы тестируем одновременно в одной группе), а также, чтобы объявления на тест прошли модерацию. В противном случае в тестировании будут участвовать не все объявления, и результаты теста будут ошибочными.

Тестирование рекомендуется проводить не менее двух недель для получения большей выборки данных. Это позволит получить наиболее достоверные результаты и сделать верные выводы. Важно учитывать количество трафика, которое приносит рекламная кампания. Если его недостаточно, период тестирования необходимо увеличить.

В примере реализуемой рекламной кампании статистика уже накоплена, и можно вычислить необходимое количество кликов для достижения одной конверсии. Например, в месяц рекламная кампания получает около 2 300 кликов, в среднем это 9 конверсий за указанный период. Коэффициент конверсии равен отношению количества конверсий к количеству кликов, то есть 9/2300 = 0,39%. Соответственно, для достижения одной конверсии необходимо получить не менее 256 кликов.

Основываясь на полученных результатах можно оценить, достигла ли рекламная кампания в определённый период порогового значения. В противном случае тест рекомендуется продлить.

3. По истечении периода тестирования собираем статистику.

Как говорилось ранее, это можно сделать с помощью Google Analytics.

Для этого проделаем следующий путь:

вкладка «Отчёты» -> «Источник трафика» -> «Рекламные Кампании».

Далее настраиваем даты начала и конца тестирования (Рис.6).

_6.jpg

Рис.6 Получение отчета в Google Analytics

Выбираем «Дополнительный параметр» — «Содержание объявлений» (Рис.7). Обратите внимание, при записи ключевого слова в метке в поле utm_content нужно смотреть «Содержание объявлений», а если в utm_term, то «Ключевое слово».

_7.jpg

Рис.7 Дополнительные параметры для отчета

Далее указываем название рекламной кампании и содержание объявления (Рис.8).

_8.jpg

Рис.8 Внесение данных из utm-меток

Таким образом, изменяя поле «содержание объявления» на ту метку, которую ставили в utm_content, мы можем получить данные по рекламным объявлениям с разными текстами. В результате мы получим развёрнутую статистику: коэффициент конверсии, среднюю продолжительность сеанса, процента отказов, количество трафика и т. д.

Для получения данных о CPC, CTR и других показателей из Яндекс.Директ необходимо перейти в «Статистику по кампании» (Рис.9).

_9.jpg

Рис.9 Просмотр статистики в Яндекс.Директ

Выбираем раздел «Общая статистика», задаём период и ставим в чек-боксе отметку «Детальная статистика по объявлениям» (Рис.10).

_10.jpg

Рис.10 Настройка для выгрузки статистики из Яндекс.Директ

Статистику необходимо выгрузить в xls-файл.

Приступаем к работе непосредственно с этим файлом, а именно:

1. Проставляем фильтр на все столбцы с данными (Рис.11)

_11.jpg

Рис.11 Постановка фильтра на столбцы в xls-файле

2. С помощью фильтров выбираем все строки, которые содержат фразу «Итого» и текст объявления, после чего выбираем тексты, по которым сводится статистика. Например, для получения данных по новым вариантам текстов (test_kreativ), необходимо выбирать новые, а для получения статистики по старым вариантам текстов (bez_testa) выбирать старые.

3. Сводим необходимые показатели: расход, количество кликов и т. д.

Таким образом, формируем полную статистику о проведённом тестировании, которая включает в себя следующие показатели: коэффициент конверсии, среднюю стоимость клика, расход, количество показов, клики по тестируемым элементам. Стоит отметить, что наиболее важными из перечисленных показателей являются коэффициент конверсии и стоимость одной конверсии.

Полученная статистика даст нам понимание того, какой тестируемый элемент приносит больше конверсий по низкой стоимости, а значит, мы сможем легко отключить варианты объявлений с низкими показателями.

Тестирование с помощью Яндекс.Директ в группах объявлений даёт возможность найти наилучший вариант объявления с наиболее низкой стоимостью клика. Кроме того, сплит‑тестирование позволяет увеличить коэффициент конверсий и получить большее количество конверсий по более низкой стоимости. Запуск тестирования требует минимум времени и предоставляет массу дополнительных возможностей по итогу анализа статистических данных. Например, выявив лидирующее объявление, можно запустить по нему рекламную кампанию в другой системе контекстной рекламы. Конечно же, надо учитывать, что в каждой сети своя аудитория, и то, что эффективно в одной системе, возможно, не будет показывать положительные результаты в другой.

Сидят 10 человек-конкурентов, и все тестируют или просто вносят изменения в объявления. :) Интересно к какому выводу они придут :D 🚬

Если плодить группы только с разными текстами то можно нарваться на склейку и все ваше АБ коту под хвост. Для этого собственно в YD группы и были придуманы. Проще всего работать с группами через DirectCommander