Кто успел скачать wiki.yandex-team.ru ?

SERP: эксперименты

Текущие эксперименты

35 Контрольный эксперимент на 4% (25.03.08)
60 Контрольный эксперимент на 2% (17.10.08)

EXPERIMENTS-144 In Progress Смешивание выдач (team-draft interleaving) qkrorlqrЭксперимент на 2% пользователей, в котором в выдаче смешиваются результаты от двух источников методом team-draft interleaving с целью сравнения этих двух источников по кликам.

Источники: WEB и WEB_EXPERIMENTAL - в случае, когда оба источника ответили и была запрошена первая страница выдачи, смешиваем их ответы указанным способом.
=============
EXPERIMENTS-164 Analyze Перенос скрипта Находок в футер saniaSERP-3657 выкатить на 50%.
Хотим померить:
1. first_click_time
2. answer_time
3. total_request_count
4. total_click_count

Делаем выборку для пользователей с включенными Находками.
Надеемся, что потери кликов в Находки будут незаметны.
=============
EXPERIMENTS-165 Analyze Отключение прокраски интентов в Разнообразии vnikЦели:
1. Сравнить падение кликов с приростом от EXPERIMENTS-134 и оценить-таки вклад в победу переранжирования и прокраски.
2. Честнее оценить абсолютный вклад от дополнительной прокраски на выдаче.

Андрей, напишешь, когда в репорте появится возможность включить такую штуку под параметром?
=============
EXPERIMENTS-161 Analyze Ранжирование картиночного колдунщика vnikДобрый день!

Заведите, пожлауйста, эксперимент на 4% для нового ранжирования картиночного колдунщика. Теперь позиция показа будет выбираться не жестко по спискам, а с учетом ctr колдунщика и результатов поиска. Позиция оказа будет роизвольной.

Требуется замерить влияние изменений на первый результат поиска. Ожидается, что его кликабельность не просядет, хорошо, если даже немного вырастет.
=============
EXPERIMENTS-166 Analyze Эксперименты по отключению разнообразия в КУБе gromakЛеша, заведи, плиз, 3 эксперимента:
-- в Украине
-- в Беларуси.
-- в Казахстана

Каждый на 4% аудитории и все они отличаются от продакшена параметром &rearr=Diversity_off.

Хотим посмотреть на клики при отключенном разнообразии в КУБе.

Спасибо.
=============
EXPERIMENTS-167 Closed Музисточник по запросам "исполнитель скачать" fayfersПривет!

Нам необходимо запустить эксперимент.
Суть эксперимента:
Мы запускаем ответы музисточником по новом классу запросов: "Исполнитель скачать" (пример: [madonna скачать] или [madonna mp3])
По таким запросом, музисточник планируется ставить на первое место.

Что мы хотим посмотреть:
Кликабельность первого места органической выдачи по этому классу запросов и кликабельность ответов от музисточника, сравнить их и понять "полезность" внедрения.

Размер аудитории: 4% ( хотелось бы).
Срок: Неделя.
=============
EXPERIMENTS-162 Analyze Центрированный серп vnik10% аудитории. Эксперимент будет идти не менее 2х недель, чтобы оценить результаты в динамике.
Измеряем:
основные пользовательские метрики как при эксперименте с фиксированнием серпа EXPERIMENTS-42
влияние на СР и Директ справа

Если возможно, то хочется посмотреть на метрике в разрезах по стандартным разрешениям экранов.
Описание проекта: http://wiki.yandex-team.ru/SERP/projects/centeredserp
=============
EXPERIMENTS-160 Analyze Размеры кеглей тайтлов и сниппетов на мобильном серпе causeloveНужны две выборки на msearch по 10% - основная и контрольная. Регионы все.
Ограничения по phone_detect: В выборки не включать family_id=19 (это опера мини, которая всегда использует свои шрифты)
У одной выборки будет увеличенный кегль в тайтле, у контрольной - останутся равные кегли, как сейчас.
С этим экспериментом посчитаем мобильный серп по всем основным метрикам, заодно получим, наконец, все данные по поведению мобильных пользователей (о чем завели речь в EXPERIMENTS-137) с оговоркой - юзеры оперы мини не будут учитываться в расчетах.

Ожидания:
Общая кликабельность будет чуть выше при увеличенном кегле тайтла
Позиция первого клика будет чуть выше при увеличенном кегле тайтла

Версталось здесь: MOBSEARCH-467
=============
EXPERIMENTS-146 Analyze Прокраска интентов в Директе ishwestВыделяем в рекламе слова связанные с запросом, аналогично тому, как делалось с органической выдачей в EXPERIMENTS-134

Аудитория 4%

Длительность: одна полная нормальная неделя, с возможностью продлить еще на неделю.

Считаем влияние на Директ.

Надеемся увидеть прирост CTR Директа более +1%%
=============
EXPERIMENTS-159 Closed Новые адреса в сниппетах kaaЭксперимент на 4% аудитории. Срок не регламентирован: если уедете на следующий год - не страшно.
Описание проекта: http://wiki.yandex-team.ru/SERP/projects/address
Рабочая таска: SERP-3602
доступно на зело

Хотим посчитать кликабельность зеленой строчки.
Ожидаем, что клики должны вырасти, поскольку для перехода на карты теперь нужен один клик вместо двух.
=============
EXPERIMENTS-147 Analyze Просьба сделать еще два контрольных эксперимента malikovНа текущий момент есть два контольных эксперимента 35(4%) и 60(2%). После перехода в расчетах метрик с получасовых данных на дневные разница между двумя контрольными увеличилась данные за ноябрь. Есть предположение, что это связано с разными размерами выборок.

Просьба сделать еще два контрольных эксперимента на 4% и 2% соответственно. Ожидается, что при сравнении двух контрольных экспериментов с одинаковыми размерами выборок статистически значимых изменений в измеряемых метриках быть не должно.

Метрики - все, как у 35 и 60 экспериментов.

Срок проведения экспериментов - ориентировочно месяц.
=============
EXPERIMENTS-141 Analyze Отключаем ограничение зарубежа по латиническим в России gromakХочется провести эксперимент, обратный EXPERIMENTS-125 -- на той же аудитории мы отключаем ограничение по количеству зарубежных результатов.

Проверяем на кликах, что нам дает это ограничение, ожиданий от метрик нет.
В целом так: Если клики не просядут, то естественное ранжирование новой формулой по латиническим запросам не нуждается в ограничениях по количеству подмешиваемых зарубежных результатов.

Планируются (zelo.yandex.ru)

EXPERIMENTS-169 Open Все хиты и разнообразие многофрагментных кандидатов в сниппетах thatguyНужны два пересекающихся эксперимента на SNIPPETS-909
Меняются только сниппеты, не чаще, чем в 30% случаев (на самом деле сильно реже).
&relev=uts=36 - все хиты
&relev=uts=37 - разнообразие многофрагментных
&relev=uts=35 - и то, и другое

Взвесьте, пожалуйста, из каждого по 25%, и ещё 25% контроля.

Базовый с поддержкой этого всего уже в продакшне.
=============
EXPERIMENTS-180 Open Показ рекламы на серпе со счётчиком thatguyАудитория - 2%
Меряем - деньги Директа
Срок - 2 недели

В рамках подготовки к перезапросам и показам рекламы по опечаткам, мы хотим переделать порядок показа рекламы. Сейчас, когда поиск у нас запрашивает рекламу, мы сразу записываем себе в лог, что все отобранные баннеры были показы (за исключением блока "динамики" директа, показы которого засчитываются по факту загрузки счётчика-пикселя). Чтобы из-за перезапросов у нас не завышались показы (рекламу отдали, но не показали), хочется перестать записывать в лог отданную рекламу и полностью перейти на использование специального счётчика-пикселя.
Я сделал новый вызов: 145, который полностью эквивалентен 2, 98 и пр. за исключением:
- в блоке direct_dynamic ушёл visibility_counter (соответственно, не нужен и серповый код, который его поддерживает - но пока только в эксперименте!)
- в болке stat добавился bs_counter, который содержит длинную ссылку, вида: http://yabs.yandex.ru/count/79DxuIc_vfK40XW0ZhuRuTO4MHAHlyPjOm-JXGsY0di2=oh6P1fK1cm5kGucldZ8magWV5HYTdmOLeA18w06KaxeSfvM6145w1000=rYEhN9K1cm5kGpA9egidAfAf3byKdQgTZW6We5fY0fIGg3Adbhe6GNm4=MyuC6vK1cm5kGpE9eo47C9AgcvqNdQCHPGQWeCe20PIH6HQdb8m3GNm4=vCh9JvK2cm5kGpA9h41s4PAcl846dPM21w2G9FIKclKFfvvm0q5w1000=I8iQffK2cm5kGpE9hmLVC9AhwouOdQV-RGQWa3v9b9le8wUUR0D1UmG0=GnNQsvK2cm5kGpI9hFJi4fAjQuS3dPX13w2G2JsKdmaffvGl145w1000=cpBCOPK2cmHkGpM9f59Y7vAkOw8EdP605g2GQXYKaLqEfvhg0a5w1000
Урл из bs_counter надо безусловно выводить на странице в самом "лучшем" месте - там, где он гарантированно загрузится.

Сначала экспериментом проверяем, что мы не теряем деньги, т.к. при потере таких ссылок (=показов) мы потеряем и клики. Если эксперимент покажет, что всё хорошо, тогда сначала запустим этот вызов на всё, а потом будем проводить второй эксперимент - делать перезапросы.

Лёша, перед выкладкой покажи, на всякий случай бету, а то потерять 2 % экспериментальной выручки тоже не хочется :)
=============
EXPERIMENTS-181 Open Маркет в спецразмещении kaaПривет,
Нужно сделать эксперимент с новым вызовом крутилки (bspage=98) на 2%. Точно также как и раньше.
Бета:
http://zelo.yandex.ru/yandsearch?text=fubag+in+160&lr=213&bspage=98

Strox:
Результаты экспериментов я один скачал? :) У меня несколько гигов вики скачано. :) Больше 6 дней окрыта дыра была. :) Но не всё выкачал... с удовольствием обменяюсь инфой. :)

SubAqua:
Какое-то ощущение что текст подготовленный.

Strox:
Morfin, не... мне кучу гадостей написали уже, репутацию непонятно за что минусуют... Типа слабак, бла бла бла, выкладывай за просто так... уже нет желания закорачиваться ради других. :) Сам разберусь - сам расшифрую. :)