Доклад Ольги Мегорской (Служба оценки качества поиска Яндекса) на Я.Субботнике в Алматы, который состоялся 15 октября 2011 года.
Что такое хороший поиск? Как измерить качество поиска? Как понять, что именно хотел пользователь? Мы постоянно ищем ответы на эти вопросы, придумываем новые метрики, отражающие различные аспекты качества поиска. Огромную роль в этой работе играют экспертные оценки асессоров – обычных людей, которые с точки зрения пользователя оценивают, насколько хорошо найденные документы отвечают на потребность, выраженную в поисковом запросе. Этот доклад призван рассказать, кто такие асессоры Яндекса, как они работают и как используются их оценки. Кроме того, доклад о том, как мы пытаемся понять, что на самом деле имел в виду пользователь, задавая тот или иной запрос, и какие методы анализа пользовательского поведения мы используем…