А, так Вы забыли, что релевантность с т.з. Яндекса и релевантность с Вашей т.з. - это как бы разные вещи. Мастерство асессоров и хорошая инструкция позволяют достаточно точно оценить документ с точки зрения этой инструкции. Все релевантные документы получают свою единицу и на этом все. Никакого ранжирования между ними, типа этому поставим 0.9, а тому - 1.05, асессоры не делают.
До переобучения методу еще далеко, так как пока есть красивые методы, чтобы до этого не довести.
Ну да.
Если функция подгоняется жестко, то это же лучше. :)
Не, пример не катит совсем. Тот факт, что какую-то функцию сложно приблизить каким-то набором - он ни о чем не говорит. В теории подгонок (или "машинного обучения" по другому) нет каких-то общих методик, многие задачи достаточно специфичны и приходится придумывать что-то особенное. В нашем случае разработчики расчитывают на то, что до переобученности еще далеко и с ней можно будет бороться. :)
Улучшение качества идет именно за счет увеличения обучающей выборки, а также за счет введения новых параметров ранжирующей функции.
Не нужно увеличивать одновременно. Вы немного попутали - асессор не оценивает релевантность сайта, он оценивает релевантность документа. И качество такой оценки очень высокое, как мне кажется. Метод еще долго будет улучшать функцию ранжирования, потому что он удачно придуман. :)
А при чем тут нейронные сети? :)
И что с того? Для решения такой задачи проще всего взять табличную функцию, тогда и вычислительных возможностей не нужно, и совпадение будет 100%.
Правильный ответ не 1 или 0, обычно ответов больше, о чем в ветке уже писалось. Никакого рандома не будет и функция ранжирования ничего не запомнила, она все значения высчитала сама. :D
Дык тут пока нет проблемы, как нет и НС. :)
G00DMAN добавил 03.03.2010 в 13:40
Дык, мы изначально зацепились за вопрос о том, где выше плотность результатов функции ранжирования, в топ-10 или после 50. Вопросы про смысл не рассматривались. :)
Функция релевантности - это сумма очень большого числа кусочно-постоянных функций, естественно она не будет непрерывной ни по какому аргументу, кроме каких-то случайных вариантов.
Ну я вообще не говорил о параметрах функции ранжирования, пофигу на них. Я говорил о значении функции. Если тупо следовать докладу Карповича на RUSSIR, то значения топа должны попадать в очень малый интервал. Никакой гладкости при этом не будет. И попадания в топ ГС и прочего УГ вроде не противоречит логике, для того, чтобы ГС обогнал лидеров, ему не нужно иметь релевантность гораздо больше, достаточно больше на нано.
Дык, я в данном случае на эти вектора не обращаю внимания, только на конечное значение релевантности.
Сергей, спорить бесполезно, т.к. не у всех есть доступ к твоим исследованиям. Для разнообразия я останусь при мнении, что ты ошибаешься. :)
Об экспериментальных конечно! Итак, что там за запросы? :D
А что касается реальных ВК, то они конечно же менее интересны, но о них тоже можно сказать. Начнем с процесса обучения. В обучающей выборке есть примеры как сильно релевантных документов, так и совсем не релевантных, иначе не обучить. Но нас интересуют только "самые релевантные" с точки зрения асессоров. Их оценки не отличаются друг от друга, у всех это одно и тоже число. В ИМ-2009 это было 4, в презентации про жадность предлагалось всунуть все "истинные" релевантности в интервал [0..1], но это не суть. Пусть это будет 1, что ли... :)
Т.е. все документы, попавшие в обучающую выборку и оцененные, как релевантные, имеют одну и ту же оценку, 1. При обучении функции ранжирования, если верить Яндексу, используется простейший (но эффективный) критерий качества - ищется минимум квадратов разностей вычисленных релевантностей с истинными. Учитывая, что почти наверняка критерий качества жесткий, получаем, что вычисленная с помощью формулы ранжирования релевантность будет очень близка к 1, т.е. плотность значений в топе будет максимальной, при наличии достаточного количества релевантных документов. По некоторым ВК она может быть и на топ-100 значительной, т.к. много релевантных документов.
Ну и, учитывая объем и качество обучающего множества, получается, что при такой метрике качества у любого релевантного документа вычисленная релевантность будет болтаться в 1 +- нано. И плотность, особенно в топе, будет высокой.
Теоретически можно допустить, что метрики качества немного иные. Например - минимизируем тот же квадрат разности, но, если вычисленная релевантность больше "истинной" единицы, то считаем ее единицей, не зависимо от того, на сколько она больше. При таком подходе плотность как в топ-10, так и глубже может сильно плавать, но про такие метрики в Яндексе не знают скорее всего. :D
З.Ы. Прошу мну извинить за маленький оффтоп.
Да ни разу. ;)
Собственно, на обучающей выборке все с точностью до наоборот, т.е. плотность результатов в топе гораздо выше, разброс мизерный должен получаться. Почему на реальных данных станет сильно по другому - не понятно. Скорее всего будет похоже. А устойчивость - не от сильно различных релевантностей, там другие причины.
А с чего ты решил, что в первой десятке сейчас по другому?
Ну да, функция ранжирования после топ-30 очевидно та же самая, просто качество выдачи не изучается, потому что далеко.
Точность на самом деле хорошая. :)
Klopopryg, ну здесь ведь нету Вашей ЦА, скорее всего Вам мало дельного посоветуют.
Что можно не особо дельного сказать:
1. Смотрите в логах точки входа и пути по сайту. Правильно ли люди попадают на сайт и когда отваливаются. Если попадают правильно и сразу же закрывают страницу - значит дело или в дизайне, или в цене или еще в чем-то на стороне заказчика.
2. А какая вообще конверсия в тематике? Может быть она в принципе низкая, у всех? :)
