А/Б-тестирование объявлений

Чтобы иметь данные по А/Б тестированию надо не 30 кликов, а тысяч так 5-10, тогда погрешность будет небольшой.

10 тысяч кликов - это, конечно, здорово. Но далеко от реальности во многих нишах.

Если в нише по целевым запросам 30 тысяч показов в месяц, то чтобы провести максимально точный аб-тест, понадобится полгода. Метод Перри Маршалла - быстрая, но разумеется, менее точная альтернатива полноценному масштабному аб-тесту.

В том-то и дело, что нет другого способа как только собирать тысячи и даже десятки и сотни тысяч кликов, чтобы получить результат.

Вы попробуйте запустить две совершенно одинаковые кампании по вашей методике, соберите кликов по 200. Да у вас и там погрешность может быть десятки процентов.

Смысла нет с такой погрешностью что-либо тестировать.

Уважаемый, а большой ли у вас опыт тестирования на сотни тысячах кликах? И можно ли по такому случаю привести кейс?

Это простая математика начальной школы. Не в обиду, просто факт.

---------- Добавлено 27.08.2015 в 21:17 ----------

Давайте так, ещё проще.

Стоите на остановке (едите в машине не за рулём). Считаем встречных водителей - мужчина/женщина из 100 человек.

1-я сотня. 70 мужчин, 30 женщин.

2-я сотня. 80 мужчин, 20 женщин.

3-я сотня. 45 мужчин, 55 женщин.

Вывод? Никакого. Где тут качественный А/Б тест? Тут надо десятки тысяч посчитать, чтобы сделать статистику с малой погрешностью.

Ваша простая математика (статистика) довольно далека от реальности. Существуют тематики и рекламодатели которые физически не могут себе позволить тысячи кликов для А/Б теста. Да вообщем-то таких рекламодателей на пальцах пересчитать можно.

Поэтому проделывать А/Б тест на меньших объемах нормально... только его соответственно надо растянуть по времени. Будет ли он абсолютно репрезентативен? Нет. Будет ли он полезен? Да! Потому что в отличие от объемов в десятки, а то и сотни тысяч кликов где увеличение стр на пару десятых процентов является существенным увеличением прибыли, то у маленького рекламодателя, что 12% СТР, что 12,5% - все едино.

Пожалуйста. Запускайте А/Б тест с сотней кликами, делайте неправильные выводы, меняйте оранжевую кнопку за зелёную. Но это зря потраченное время. Это всё видимость какого-то там анализа )

Встану в защиту лесного. А\Б тест даже в 300 кликов нихера не дает валидной статистики.

Ладно, не тысячи кликов, как он говорит, но надо действительно дохрена. И реальность такова, что этого дохрена почти нигде нет.

Учитывая то, что Директ криво пилит показы (одно объявление покажет 900 раз, другое - 15) - это вообще глупая затея. Опять же, надо много времени, пилит показы криво, а 90% от СТР объявления - это не текст, а релевантное предложение на очищенный ключ.

Если ты это ВСЕ-ТАКИ сделал - то твои лишние 1.5% СТР (15-16.5%) повлияют на ставку минимально. Если вообще повлияют.

Присоединяюсь к постам выше - нафига создавать иллюзия действия?

Вы действительно думаете, что эти а/б тесты на мизерных значениях дадут вам больше денег в кошельке?

Столько времени на это люди тратят..лучше бы более стратегическими вещами для бизнеса занимались...

Тестить надо, когда реально есть необходимость, а не когда об этом везде трубят.

Пфу....