Фильтры Яндекса и машинное обучение

Вкратце устройство поиска Яндекса описывается следующим образом. У Яндекса есть несколько асессоров – это люди, которые оценивают пары «страница» - «запрос» по критериям «Витальный», «Полезный», «Релевантный+», «Релевантный-» «Нерелевантный», «Спам» и «Не про то».

Для каждой такой страницы Яндекс автоматически считает набор параметров, которые относятся как к странице и запросу так и ко всему сайту целиком. Например, для конкретной страницы: «количество входящих ссылок на эту страницу», «размер страницы», для запроса: «процент вхождений запроса на страницу». Для всего сайта: «наличие в Яндекс Каталоге», «общее число входящих ссылок». Таких параметров по данным Яндекса уже больше 1000.

Все эти данные по всем страницам и оценкам асессоров сводятся в одну большую таблицу*.

Таблица выглядит как-то так:

«Параметр1 для страницы 1» «Параметр2 для страницы 1» …. «ПараметрN для страницы 1» «Оценка асессора 1»

«Параметр1 для страницы 2» «Параметр2 для страницы 2» …. «ПараметрN для страницы 2» «Оценка асессора 2»

….

«Параметр1 для страницы M» «Параметр2 для страницы M» …. «ПараметрN для страницы M» «Оценка асессора M»

Здесь N ~ 1000, M ~ 1000000.

Далее эта «таблица обучения» подается на вход алгоритма машинного обучения, с целью получить «модель поиска».

Что делает эта модель? Даешь ей на вход строчку вида:

«Параметр1 для новой страницы» «Параметр2 для новой страницы» …. «ПараметрN для новой страницы»

модель по этим данным предсказывает «оценку асессора» с некоторой вероятностью близкой к 100%.

Теперь предположим, вы ввели в поиск запрос: «купить кондиционер в Москве». Сначала Яндекс выбирает общий набор страниц, который вообще соответствуют этому запросу. Далее для каждой этой страницы и этого запроса считает набор из N параметров. Пропускает их через модуль и получает для каждой страницы предсказание «Оценки асессора». Подозреваю что страница с оценками «Нерелевантный», «Спам» и «Не про то» сразу исключаются из выдачи. Остальные сортируются, что бы «Витальные» оказались как можно выше, за ними «Полезные», потом «Релевантные+» и в конце видимо уже за пределами ТОП10 «Релевантные-»

Фильтр Минусинск

Как с таким подходом к поиску ввести новый фильтр? Да очень просто. Для этого достаточно слегка поправить таблицу, полученную от асессоров перед обучением.

Пусть у страницы есть два следующих параметра «общее количество ссылок на домен» = A, «количество ссылок с коммерческими SEO-анкорами на домен» = B. Введем коэффициент K = B/A, теперь установим ему какое-то значение, например «0.5» (или 50%). Далее пройдемся по таблице обучения скриптом, который делает следующее преобразование, если K у страницы больше 50%, сделаем следующую замену «Витальный» -> «Полезный», «Полезный» -> «Релевантный+», «Релевантный+» -> «Релевантный-», «Релевантный-» -> «Не про то».

Обучаем нашу модель по этой таблице. Всё фильтр введен. Страницы, у которых K больше 0.5 будут в целом по всем запросам понижаться в выдаче.

Фильтр «снижаем трафик за продажные ссылки»

Работает аналогично. Параметры, которые используются, вероятно «Количество исходящих ссылок с сайта» и «Количество исходящих анкорных SEO-ссылок с сайта».

Пару фактов:

1) Поскольку модель носит вероятностный характер, то точной границы коэффициента K после которой включается фильтр, нет. Это индивидуально для каждого сайта.

2) Подозреваю, что выйти из под фильтра можно не только сняв СЕО ссылки, но и просто увеличив число естественных ссылок.

Написано по своему опыту работы с машинным обучением и тем как бы поступил я если бы мне надо было ввести такие фильтры по запросу от начальства. ) Есть мысли, дополнения, критика?

* - это немного упрощенная модель, судя по всему в Матрикс.Нет Яндекс использует несколько таблиц, разбитых по какому-то параметру, но для понимания принципа это не важно.