A/B тестирование и ценнообразование

Р
На сайте с 10.06.2016
Offline
69
909

Недавно стал работать с РСЯ, есть вопросы по ценнообразованию.

Проводил четыре недели A/B тесты, выбрал наиболее эффективные объявления для различных размеров экрана.

Самое интересное, что далее не стал прекращать тестирование, а решил проверить насколько оно корректно было. Для этого продолжаю A/B тесты с теми же блоками, но формат объявлений сделал одинаковый. Прошло две недели, и самое интересное, что одинаковые объявления в одном и том же месте дают принципиально разный результат.

Средний CPMV RTB одинаковых блоков в одном месте отличается от 70 до 200 рублей (это средние показатели за неделю, в один день может быть разница куда существеннее). Как такое может быть?

Количество просмотров достаточное, чтобы погрешность свести к минимуму. Например, при тех же тестах блоков Адсенс, разницы практически нет.

Ощущение, что сказывается прошлая история этих блоков. То есть сначала я тестировал Motion, потом отредактировал его на "Постер вертикальный", но средний CPMV RTB по прежнему в два раза ниже, чем у того блока, что был изначально "Постер вертикальный". Что за ерунда? Кто-нибудь может это пояснить? Как в таких условиях проводить A/B тесты?

Как улучшить "историю" или "репутацию" блока чтобы поднять CPMV?

L
На сайте с 16.03.2012
Offline
345
lkm
#1

Румян, Какой объем показов? Надеюсь, это хотя бы шестизначное число?

Р
На сайте с 10.06.2016
Offline
69
#2
lkm:
Румян, Какой объем показов? Надеюсь, это хотя бы шестизначное число?

Пятизначное. Намек на высокую погрешность понял. Работаю в основном с Адсенс, при тестировании их блоков такой разницы нет, пусть будет до 5-10 процентов, но не в два-три раза же разница.

То есть при посещаемости 6 тысяч в сутки провести корректное тестирование блоков RTB нет возможности?

D
На сайте с 28.06.2008
Offline
1101
#3

Почитайте соседние темы. Доход в Яндексе не соответствует нормальному статистическому распределению, поэтому анализировать его бессмысленно.

С 2014 года "когда Крым наш" и санкции экономика РФ стагнирует, все отрасли показывают отрицательный или около нулевой рост, и только один Яндекс фигачит +30% год от года

Я думаю вы сами догадаетесь за чей счет банкет?

Р
На сайте с 10.06.2016
Offline
69
#4

Я читал соседние темы, суть в целом понял. Спаибо. Даже, если предположить, что Яндекс как посредник забирает большой процент, не верю, что с каждого блока "воруется" в случайном порядке.

Просто хочу узнать, что выбрал лучший рекламный формат приносящий максимум и спать спокойно. А пока даже по одному формату есть такие качели, то фигня какая-то.

D
На сайте с 28.06.2008
Offline
1101
#5

Единственное что у них всегда одинаково - первые дни новые блоки показывают завышеный доход.

Если хотите тестировать - создайте блоки, открутите их на сайте в разных местах дней 5-7 и вот только тогда начинайте сравнивать.

P1
На сайте с 18.10.2011
Offline
141
#6
Румян:
Просто хочу узнать, что выбрал лучший рекламный формат приносящий максимум

Сейчас проводить какие-то эксперименты с блоками РСЯ бессмысленно. Ни доход, ни CPMV, ни CPC не поддаются никакому анализу и меняются "как бог на душу положит".

Румян:
и спать спокойно

Про это, работая с РСЯ, можно забыть. ))

NCom
На сайте с 07.03.2008
Offline
291
#7
Румян:
Средний CPMV RTB одинаковых блоков в одном месте отличается от 70 до 200 рублей (это средние показатели за неделю, в один день может быть разница куда существеннее). Как такое может быть?

Забил совершенно на все тесты. У меня большой объем трафа, но я все равно по месяцу несколько раз проводил тесты. Даже не настройки менял у блоков, а отдельно десятки блоков создавал. В конечном итоге... формат А 3 августа имел CPM 100, а формат Б 50. А 13 августа формат А имел CPM 50, а формат Б 100. Ну это я грубо, для упрощения. Получалось, что в одну неделю один формат приносил в разы больше всех остальных, а на другой неделе этот же формат приносил как все, а совершенно другой имел большой плюс.

Последний тест закончил 5 декабря - ситуация такая же. В общем, у меня никакие эксперименты ни к чему не привели. Но у меня и CPM хороший, гораздо выше, чем был в адсенсе, так что все устраивает.

Основную часть времени, у меня в одном и том же месте работают 2 разных формата. К примеру в рубриках 1-2-3 формат А, а в рубриках 4-5-6 формат Б. Периодически то один формат стреляет, то другой. Мистика, ну или я ничего не понимаю в РСЯ)))

Тесты проводились примерно по 200-300 тысяч показов каждого блока. Куча гемора и в пустоту))

---------- Добавлено 10.12.2018 в 12:47 ----------

Хотите резкие всплески CPM и не против работать с адсенс, то достаточно чередовать. Ставить не пару дней в то же место адсенс, а потом менять на РСЯ и РСЯ в первые дни повышенный CPM имеет. Мне каждый месяц на несколько дней необходимо ставить адсенс и такая история у меня каждый раз.

Р
На сайте с 10.06.2016
Offline
69
#8
NCom:
Забил совершенно на все тесты. У меня большой объем трафа, но я все равно по месяцу несколько раз проводил тесты. Даже не настройки менял у блоков, а отдельно десятки блоков создавал. В конечном итоге... фортам А 3 августа имел CPM 100, а формат Б 50. А 13 августа формат А имел CPM 50, а формат Б 100. Ну это я грубо, для упрощения. Получалось, что в одну неделю один формат приносил в разы больше всех остальных, а на другой неделе этот же формат приносил как все, а совершенно другой имел большой плюс.

Спасибо, похоже, что ситуация в целом у всех одинаковая. Значит формат определять можно только интуитивно😡

J1
На сайте с 11.01.2017
Offline
176
#9

еще можно сделать A/B тест старого кода и RTB блока на одном и том же месте и увидеть что у них разный CTR директа. тестировал на 20к трафика в сутки, что то результат более менее достоверный.

сейчас доход от РСЯ чем то похож на выдачу Яндекса, где участвует огромное кол-во факторов и они сами не смогут объяснить почему каждый сайт занимает свою позицию. Поэтому клик теперь не просто клик, а расчет кучи факторов. разница между которыми забирает себе Яндекс.

обычный бизнес по русски от Яндекса с рисованным доходом и кидаловом вебмастеров.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий