Cheko

WSGU:
событие очень даже знаковое. По крайней мере теперь понятно как ведется работа над поисковой системой - с помощью экспериментов над 4 % пользователей. Если удачно попасть в эксперимент, то можно хорошо поиметь трафик:) Интересно кто принимает решение о внедрении.

Strox:
Не-не. Нечего выкладывать не буду. Как я понял скачали многие, но разное. Соберу полную версию всего, что удалось скачать, тогда решу что делать.

donc:
ничего там толком интересного не было, кто там накачал гигабайты информаци - может ее выкинуть. дрова и паблик документация на джаву
единственно что было интересное:
1 эксперементы
2 и внутренний регламент, как сотрудникам яндекса отвечать на неудобные вопросы родственников, друзей, партнеров и прессы, если вдруг в обход пресс-службы прижмут в теплом месте, к теплой стенке

2.4 Не стоит быть затычкой в каждой бочке - лучше выбирать разумные места для дискуссий по делу

Обсуждение Яндекса может проходить не в форме вопроса к вам, а в каких-то третьих блогах или форумах. Очевидно, что не в каждой бочке стоит быть затычкой, но при этом по каждой теме могут существовать какие-то авторитетные тусовки. Руководителям служб Яндекса рекомендуется вместе с департаментом маркетинга определить, какие обсуждения в сети являются существенными для этих служб («центры влияния»), организовать их мониторинг и вмешательство при необходимости. В этом случае выступление делается не только от себя лично, но и от имени Яндекса – что усиливает ответственность ;(. В ответах надо придерживаться стиля, описанного в п. 2.3, причем даже более строго – ведь в данном случае вы общаетесь не с друзьями. Для служб, руководители которых не сформировали такой политики, решение принимается ответственными лицами case-by-case.
2.5 Публикуемые фотографии, сделанные внутри компании, стоит проверить на конфиденциальность

При публикации фотографий сотрудников стоит иметь в виду формат мероприятия. Если это внутреннее событие Яндекса, то надо иметь в виду, что, как и слова, сказанные внутри, не все может быть предназначено для публикации. Если у вас есть сомнения в том, что человек будет рад, увидев себя на фото, лучше спросить его мнение предварительно. Кроме того, иногда обстановка внутри компании, картинки на мониторах, бумаги на столах или развешенные по стенам могут оказаться предметом NDA - рекомендуется проявлять бдительность и, при сомнениях, советоваться с известными параноиками – департаментом маркетинга или службой безопасности.
2.6 Злословие и экстремизм не украшают ни сотрудника, ни компанию

Это самое скользкое место – обсуждение общественно-политических тем, не имеющих отношение к работе. Чем вы более известная фигура и чем выше ваша позиция в Яндексе, тем больше шансов, что ваше личное экстремистское высказывание (скажем, сажать пиратов или, наоборот, отменить копирайт) будет приписано компании в целом. Запретов здесь нет, даже этических – есть просто просьба: перед тем, как опубликовать, подумайте, какое действие это окажет на отношение коллег к вам и всех «внешних» людей – к компании.
2.7 Общение в блогах с потенциальными кандидатами - слушайтесь советов HR

Одно из "корпоративных" направлений общения в блогах - это поиск новых сотрудников. Тут тоже есть свои сложности и свои тонкости - см. документ отдела HR


P.S. Этот документ – внутренний, то есть находится под NDA. Как было сказано выше, любой письменный документ имеет ненулевую вероятность быть распространенным за пределы круга читателей, которому он был предназначен. Поэтому любой внутренний текст должен быть написан так, чтобы в случае утечки за него не было стыдно ни автору, ни компании.

Strox:
Вернёмся к теме: ?😂

(в теме один из НЕСКОЛЬКИХ известных мне примеров)

SERP: эксперименты

Текущие эксперименты

35 Контрольный эксперимент на 4% (25.03.08)
60 Контрольный эксперимент на 2% (17.10.08)

EXPERIMENTS-144 In Progress Смешивание выдач (team-draft interleaving) qkrorlqrЭксперимент на 2% пользователей, в котором в выдаче смешиваются результаты от двух источников методом team-draft interleaving с целью сравнения этих двух источников по кликам.

Источники: WEB и WEB_EXPERIMENTAL - в случае, когда оба источника ответили и была запрошена первая страница выдачи, смешиваем их ответы указанным способом.
=============
EXPERIMENTS-164 Analyze Перенос скрипта Находок в футер saniaSERP-3657 выкатить на 50%.
Хотим померить:
1. first_click_time
2. answer_time
3. total_request_count
4. total_click_count

Делаем выборку для пользователей с включенными Находками.
Надеемся, что потери кликов в Находки будут незаметны.
=============
EXPERIMENTS-165 Analyze Отключение прокраски интентов в Разнообразии vnikЦели:
1. Сравнить падение кликов с приростом от EXPERIMENTS-134 и оценить-таки вклад в победу переранжирования и прокраски.
2. Честнее оценить абсолютный вклад от дополнительной прокраски на выдаче.

Андрей, напишешь, когда в репорте появится возможность включить такую штуку под параметром?
=============
EXPERIMENTS-161 Analyze Ранжирование картиночного колдунщика vnikДобрый день!

Заведите, пожлауйста, эксперимент на 4% для нового ранжирования картиночного колдунщика. Теперь позиция показа будет выбираться не жестко по спискам, а с учетом ctr колдунщика и результатов поиска. Позиция оказа будет роизвольной.

Требуется замерить влияние изменений на первый результат поиска. Ожидается, что его кликабельность не просядет, хорошо, если даже немного вырастет.
=============
EXPERIMENTS-166 Analyze Эксперименты по отключению разнообразия в КУБе gromakЛеша, заведи, плиз, 3 эксперимента:
-- в Украине
-- в Беларуси.
-- в Казахстана

Каждый на 4% аудитории и все они отличаются от продакшена параметром &rearr=Diversity_off.

Хотим посмотреть на клики при отключенном разнообразии в КУБе.

Спасибо.
=============
EXPERIMENTS-167 Closed Музисточник по запросам "исполнитель скачать" fayfersПривет!

Нам необходимо запустить эксперимент.
Суть эксперимента:
Мы запускаем ответы музисточником по новом классу запросов: "Исполнитель скачать" (пример: [madonna скачать] или [madonna mp3])
По таким запросом, музисточник планируется ставить на первое место.

Что мы хотим посмотреть:
Кликабельность первого места органической выдачи по этому классу запросов и кликабельность ответов от музисточника, сравнить их и понять "полезность" внедрения.

Размер аудитории: 4% ( хотелось бы).
Срок: Неделя.
=============
EXPERIMENTS-162 Analyze Центрированный серп vnik10% аудитории. Эксперимент будет идти не менее 2х недель, чтобы оценить результаты в динамике.
Измеряем:
основные пользовательские метрики как при эксперименте с фиксированнием серпа EXPERIMENTS-42
влияние на СР и Директ справа

Если возможно, то хочется посмотреть на метрике в разрезах по стандартным разрешениям экранов.
Описание проекта: http://wiki.yandex-team.ru/SERP/projects/centeredserp
=============
EXPERIMENTS-160 Analyze Размеры кеглей тайтлов и сниппетов на мобильном серпе causeloveНужны две выборки на msearch по 10% - основная и контрольная. Регионы все.
Ограничения по phone_detect: В выборки не включать family_id=19 (это опера мини, которая всегда использует свои шрифты)
У одной выборки будет увеличенный кегль в тайтле, у контрольной - останутся равные кегли, как сейчас.
С этим экспериментом посчитаем мобильный серп по всем основным метрикам, заодно получим, наконец, все данные по поведению мобильных пользователей (о чем завели речь в EXPERIMENTS-137) с оговоркой - юзеры оперы мини не будут учитываться в расчетах.

Ожидания:
Общая кликабельность будет чуть выше при увеличенном кегле тайтла
Позиция первого клика будет чуть выше при увеличенном кегле тайтла

Версталось здесь: MOBSEARCH-467
=============
EXPERIMENTS-146 Analyze Прокраска интентов в Директе ishwestВыделяем в рекламе слова связанные с запросом, аналогично тому, как делалось с органической выдачей в EXPERIMENTS-134

Аудитория 4%

Длительность: одна полная нормальная неделя, с возможностью продлить еще на неделю.

Считаем влияние на Директ.

Надеемся увидеть прирост CTR Директа более +1%%
=============
EXPERIMENTS-159 Closed Новые адреса в сниппетах kaaЭксперимент на 4% аудитории. Срок не регламентирован: если уедете на следующий год - не страшно.
Описание проекта: http://wiki.yandex-team.ru/SERP/projects/address
Рабочая таска: SERP-3602
доступно на зело

Хотим посчитать кликабельность зеленой строчки.
Ожидаем, что клики должны вырасти, поскольку для перехода на карты теперь нужен один клик вместо двух.
=============
EXPERIMENTS-147 Analyze Просьба сделать еще два контрольных эксперимента malikovНа текущий момент есть два контольных эксперимента 35(4%) и 60(2%). После перехода в расчетах метрик с получасовых данных на дневные разница между двумя контрольными увеличилась данные за ноябрь. Есть предположение, что это связано с разными размерами выборок.

Просьба сделать еще два контрольных эксперимента на 4% и 2% соответственно. Ожидается, что при сравнении двух контрольных экспериментов с одинаковыми размерами выборок статистически значимых изменений в измеряемых метриках быть не должно.

Метрики - все, как у 35 и 60 экспериментов.

Срок проведения экспериментов - ориентировочно месяц.
=============
EXPERIMENTS-141 Analyze Отключаем ограничение зарубежа по латиническим в России gromakХочется провести эксперимент, обратный EXPERIMENTS-125 -- на той же аудитории мы отключаем ограничение по количеству зарубежных результатов.

Проверяем на кликах, что нам дает это ограничение, ожиданий от метрик нет.
В целом так: Если клики не просядут, то естественное ранжирование новой формулой по латиническим запросам не нуждается в ограничениях по количеству подмешиваемых зарубежных результатов.

Планируются (zelo.yandex.ru)

EXPERIMENTS-169 Open Все хиты и разнообразие многофрагментных кандидатов в сниппетах thatguyНужны два пересекающихся эксперимента на SNIPPETS-909
Меняются только сниппеты, не чаще, чем в 30% случаев (на самом деле сильно реже).
&relev=uts=36 - все хиты
&relev=uts=37 - разнообразие многофрагментных
&relev=uts=35 - и то, и другое

Взвесьте, пожалуйста, из каждого по 25%, и ещё 25% контроля.

Базовый с поддержкой этого всего уже в продакшне.
=============
EXPERIMENTS-180 Open Показ рекламы на серпе со счётчиком thatguyАудитория - 2%
Меряем - деньги Директа
Срок - 2 недели

В рамках подготовки к перезапросам и показам рекламы по опечаткам, мы хотим переделать порядок показа рекламы. Сейчас, когда поиск у нас запрашивает рекламу, мы сразу записываем себе в лог, что все отобранные баннеры были показы (за исключением блока "динамики" директа, показы которого засчитываются по факту загрузки счётчика-пикселя). Чтобы из-за перезапросов у нас не завышались показы (рекламу отдали, но не показали), хочется перестать записывать в лог отданную рекламу и полностью перейти на использование специального счётчика-пикселя.
Я сделал новый вызов: 145, который полностью эквивалентен 2, 98 и пр. за исключением:
- в блоке direct_dynamic ушёл visibility_counter (соответственно, не нужен и серповый код, который его поддерживает - но пока только в эксперименте!)
- в болке stat добавился bs_counter, который содержит длинную ссылку, вида: http://yabs.yandex.ru/count/79DxuIc_vfK40XW0ZhuRuTO4MHAHlyPjOm-JXGsY0di2=oh6P1fK1cm5kGucldZ8magWV5HYTdmOLeA18w06KaxeSfvM6145w1000=rYEhN9K1cm5kGpA9egidAfAf3byKdQgTZW6We5fY0fIGg3Adbhe6GNm4=MyuC6vK1cm5kGpE9eo47C9AgcvqNdQCHPGQWeCe20PIH6HQdb8m3GNm4=vCh9JvK2cm5kGpA9h41s4PAcl846dPM21w2G9FIKclKFfvvm0q5w1000=I8iQffK2cm5kGpE9hmLVC9AhwouOdQV-RGQWa3v9b9le8wUUR0D1UmG0=GnNQsvK2cm5kGpI9hFJi4fAjQuS3dPX13w2G2JsKdmaffvGl145w1000=cpBCOPK2cmHkGpM9f59Y7vAkOw8EdP605g2GQXYKaLqEfvhg0a5w1000
Урл из bs_counter надо безусловно выводить на странице в самом "лучшем" месте - там, где он гарантированно загрузится.

Сначала экспериментом проверяем, что мы не теряем деньги, т.к. при потере таких ссылок (=показов) мы потеряем и клики. Если эксперимент покажет, что всё хорошо, тогда сначала запустим этот вызов на всё, а потом будем проводить второй эксперимент - делать перезапросы.

Лёша, перед выкладкой покажи, на всякий случай бету, а то потерять 2 % экспериментальной выручки тоже не хочется :)
=============
EXPERIMENTS-181 Open Маркет в спецразмещении kaaПривет,
Нужно сделать эксперимент с новым вызовом крутилки (bspage=98) на 2%. Точно также как и раньше.
Бета:
http://zelo.yandex.ru/yandsearch?text=fubag+in+160&lr=213&bspage=98

tysson:
выкладывайте все.....чего мозг клевать! 😂

pchol123:
besik1976, с ума сошел? это-же так круто, иметь то, чего ни у кого нет. Самое главное в нужном месте чешуёй блеснуть, что мол "у меня то есть, щас и цитат накидаю" и ждать выгодных предложений, сообщений в личку с мольбами и т.д.
Всех с пятницей. Поихал до дому

Проверяем идею "колдунщики про запрос должны находиться под поисковой формой".
* они там виднее
* они логически привязаны к запросу, а не к выдаче, поэтому не должны выглядеть как результат
* освобождается место для колдунщиков "про результаты" (маркет, словари,.. пример запроса [motorola e398 -цена])

экспериментировать будем с колдунщиком минус-слов.
цель эксперимента
1. Сравнить кликабельность колдунщиков (проверка гипотезы "он там виднее")
2. Посчитать влияние на Директ. В текущей верстке директ смещается на строчку вниз.

Колдунщик картинок на 4-й позиции будет показываться по картиночным запросам в том случае, если сверху его невозможно показать (сработал колдунщик какого-то другого сервиса).

Цель эксперимента: убедиться, что нет плохого влияния на Директ...

Сейчас, когда поиск у нас запрашивает рекламу, мы сразу записываем себе в лог, что все отобранные баннеры были показы (за исключением блока "динамики" директа, показы которого засчитываются по факту загрузки счётчика-пикселя). Чтобы из-за перезапросов у нас не завышались показы (рекламу отдали, но не показали), хочется перестать записывать в лог отданную рекламу и полностью перейти на использование специального счётчика-пикселя.

Если отклонение CTR директа будет несущественным, то тогда хотим вобще отключить обращение к параллельным источникам...

[1]Эксперимент нацелен на разнообразие выдачи согласно поисковым прагматикам, указанных запросов. Запросов в потоке (по последней оценке Андрея) -- 0.87%. Нужно понять хватит ли нам 4% аудитории для проведения эксперимента.

В эксперименте в [2] первую очередь мы смотрим на пользовательские метрики (клики и т.п.).
Оценку денег, [3] наверное, стоит провести, ведь мы задвинем подальше автосалоны, поэтому может быть на них вырастут клики в директе.

Да, действительно. Покупные ссылки - это зло.

Калинин:
Cheko, сенегал? А чего ощипанный?