G00DMAN

А что не так с РБС? Сайты выше в выдаче не релевантны запросу? Или по "раскрутка сайта" bdbd должен быть в топе, потому что так привычнее? ;)

А как Вам вариант, что таких "критериев провала на десятки позиций" теперь может и не быть? :D

Выдача пока сыровата, все может десять раз поменяться, но глобального "объективно хуже" что-то не видно. Хотя у меня несколько высокобюджетных запросов немного просело - вот по ним выдача в буках действительно говно, да. :D

G00DMAN добавил 16.11.2009 в 02:13

Так не надо, а что мешает написать об этом в форму обратной связи? ;)

Ссылочное должно уже быть в "истинной" релевантности. Intelis об этом уже написал:

Ну так если в новой формуле несколько сотен реально влияющих факторов на релевантность Вашей страницы и каждый фактор вносит не большую долю, то будет не просто реинжинирить. ;)

Такого рода проблемы были всегда. Возьмите любую крупную контору - сколько % у них не выходит в топ? На самом деле совсем не мало, хотя методы одинаковые. Конечно разница 1-я/10-я страница дикая, но возможно, что это временно. У меня все, что выпало из топа, из второй полсотни уже вернулось в район 1-3 страниц.

А почему не было? Может и было.

Надеяться на то, что у кого-то что-то там вернется взад наверное сильно не стоит. Но я немного не то имел ввиду. То, что критериям полноты выдача удовлетворяет - это понятно, но дело ведь не только в этом. Возникнет куча локальных проблем с конкретными выдачами, типа вот этого в выдаче быть не должно, а это - должно попасть. Эти проблемы будут требовать переобучения алгоритма и вполне возможно, что в какой-то момент наступит "переполнение", любое улучшение одной выдачи будет приводить к ухудшению многих других. Т.е. проблемы с какими-то конкретными выдачами нужно будет решать, а решения нет. Возможно таких ситуаций и не будет, т.к. методика обучения удачная изначально, возможно они будут, но их можно решать немного смещая "истинные" релевантности в обучающей выборке или еще как-то - пока это не известно, время покажет.

Выставляют точно не асессоры. Оценка асессоров скорее всего входит в оценку релевантности, но не только она. 0.3 - от балды. :)

Не, тут вроде по другому релевантность считается, более сложно.

Нет. "Истинная" релевантность (хотя может быть "истинная" - не верное название, может "назначенная" или еще как :) ), присваивается каждой паре запрос-документ до начала обучения. Ее значение как-то вычисляется, наверное по хитрой формуле какой-то, на основании оценок асессоров и еще чего-то. И суть обучения - подобрать такой набор параметров для ранжирующей функции, чтобы полученное с помощью функции значение релевантности было как можно ближе к "истинному". Для всех пар "запрос-документ" в обучающей выборке.

Эта "истинная" - не асессорная, просто число в обучающей базе. Его можно как-то менять, или тупо вручную, или как-то хитрее, вариантов много.

Ну если в обучающею базу внести небольшие изменения, например только по одной выдаче, то в итоге получим изменения как раз по тематике - этой одной выдачи и всех близких к ней, где те же сайты в топах.

Ага. Но все равно - это лишь гипотеза.

Да, не известно. Наверное могут и для одной пары пересчитать, но скорее всего пока такое не требуется, т.к. постоянно находится много плюх, есть куча инфы для пересчета.

Или недообучение, почему бы и нет. Много параметров - не факт, что плохо. Может как раз это "много" и позволит красиво настроить алгоритм. Масштабное тестирование метода только началось, пока даже не очевидно, насколько верной была идея такого обучения.

Ну можно мягче, зачем сразу "не релевантен". Если "истинная" релевантность лежит в интервале [0..1], а релевантность у святок была например 0.6 (что давало топ-1, но при этом его могло не быть в обучающей выборке), то можно занизить "истинную" до 0.3 и добавить в обучалово. Ну это как вариант легкого тюнинга топа.

Если "ему подобные" попали в топы по тем же причинам, то они могут так же убраться, да. Фишка алгоритма в том, что не нужно думать об этих причинах, проще добавить в обучающую выборку новых данных и пересчитать. Считается-то влет. :)

Между тем квадрат разности является наиболее удобным критерием для минимизации невязки в задачах аппроксимации. Учитывая, что на каждой итерации вычисляется градиент, то лучше критерия чем квадрат разности не придумаешь.

Именно в шустрости и прикол этого алгоритма. И, кстати, про "апдейты по тематике" - сейчас на буках это теоретически возможно, если асессоры нарабатывают обучающую выборку в "тематическом порядке". Т.е. обработали группу пар запрос-документ, тут же обновили обучающее множество и быстро пересчитали коэффициенты. Такие добавки в обучение не сильно должны повлиять на ранжирование в целом, а в отдельной тематике - могут. Но это только гипотеза, могут ведь обрабатывать не тематиками, а по другому принципу, например добавляя пары (q,d), которые нужно убрать из топа, занижая им "истинную" релевантность. :)

Это алгоритмы одного семейства. MatrixNet по сути является частнымм и несколько упрощенным случаем TreeNet.

Генетикой они оптимизировали pfound для РОМИПа. Как они оптимизировали pfound в реале - не известно. :)

Забавная классификация, особенно хронология, которая отражает время когда некто додумался использовать давно разработанный алгоритм для решения задачи ранжирования и новое название для этого метода. :)

А никто и не сравнивал. Я имел ввиду тот факт, что в описанном жадном алгоритме нет места для pfound. Если говорить о жадном алгоритме, как об упрощенном заголовке снежинской пдфки, то, применительно к алгоритму ранжирования он используется лишь как метод определения параметров регрессионного уравнения, аппроксимирующего функцию релевантности документа относительно запроса fr, где критерием выступает минимум суммы квадратов разностей обучающих и "восстановленных" значений по всему множеству пар запрос-документ. pfound здесь вообще никуда не уперся. :)

Уверенности в нашем деле быть не может, все на уровне догадок, копаний, слухов и обрывков фраз. ;)

Яндексоиды на РОМИПе утверждали, что "используется и давно", отвечая на вопрос типа "че за странная метрика"?

Илья Сегалович мне также говорил об этом, причем была упомянута немного другая вероятность для "vital", не совсем 0,4. ;)

pfound не есть вероятность найти один релевантный документ, тут нет ограничения одним документом. Если обратиться к формуле вычисления pfound, pRel для релевантного документа равна 0,4, что означает что вероятность просмотра pLook никогда не будет равна нулю, что возможно только в случае нахождения документа с вероятностью релевантности равной 1. Т.к. вероятность просмотра для каждого документа будет положительной, несмотря на стремление к 0 с увеличением i (позиции документа), каждый из релевантных документов выдачи будет вносить свой вклад в значение pfound. Поэтому, максимизируя pfound, мы по сути ставим условие нахождения как можно большего числа релевантных документов. Т.е. если опираться на критерий качества поиска вида "Надо обеспечить максимально релевантную выдачу хотя бы в первой десятке", то pfound вполне себе катит. Хотя в комментах там есть про один документ, ага.

Откуда я знаю, чем хуже? Это у яндексоидов нужно спрашивать. :)

Обучение с pfound видимо ниасилили, с таким большим набором параметров и на таком большом обучающем множестве алгоритм очень долго считает. С генетикой нужно реально на уши вставать как математикам, так и программерам, чтобы быстро было. Не думаю, что Яндекс нашел таких спецов, потому и траблы.

Если посмотреть статью яндексоидов с RuSSIR-2009, ссылка на которую была в посте Расковалова о Снежинске, то все с точностью до наоборот. ;)

Алгоритм обучается только на оцененных документах.

pfound больше не используется. Теперь рулит жадный алгоритм. :)

Посмотрим, как жадность справится с релевантностью, я пока не уверен, что идея хорошая. Некоторый максимум такое обучение находит, один из бесконечного множества. И не факт, что хороший, не говоря уже о лучшем...

Пока это не очевидно, буки сыроваты.

Да, многие зафильтрованные весело участвуют в серпе. Надолго ли? :)

Это зря.

Все не так кисло, как ты думаешь. :)

Например мой доклад будет более чем актуальным, ввиду заявленных фактов. Типа того, что свертка теперь - однозначно линейная. :)