Или на группу документов. Или не один фильтр, а несколько сразу.
Фильтры не обязательно за не уникальность. Могут и за разные внешние факторы, и за игры с текстом. Похоже, что не под всеми этими фильтрами что-то на сайте "прекрасно ранжируется".
Из под каких-то - наверное проще, из под других нет. В каких-то тематиках, где более-менее релевантных сайтов немеряно (типа фильмы и тому подобное УГ) из под некоторых фильтров вообще не вытаскивается, как говорят коллеги.
Сергей, поздравляю! :)
Не только, на РОМИПе же написали, что оценено не менее 20К запросов.
Не факт. Зависит от ранжирующей функции, скорее всего нет такого "минимум одного человека".
AiK, Вы с Turbo, если я правильно понял, имеете ввиду разные релевантности, сайта и выдачи в целом. Релевантность выдачи в целом не будет увеличиваться при изменении какого-то одного параметра, иначе не было бы проблемы с ранжированием. Кстати, яндексоиды заявили, что релевантность выдачи в реале меряется так же, как и на РОМИПе-2009, каким-то образом усредненным pfound, может быть даже тупо средним по всем запросам из базы асессоров. Только вероятность в реале немного не 40%, хотя для нас это не принципиально.
Turbo, понятно. Логично конечно, но не верно, ИМХО. Яндексоиды ищут различные пути быстрой оптимизации ранжирующей функции на основе новых данных, при "конкурсном" подходе они видимо уперлись в некий потолок, поэтому и было принято решение пустить оптимизацию в массы. С одной стороны - халява, с другой - а вдруг что-то выгорит? Похоже, что не получилось на этот раз. :)
Да, и эти значимые как-то можно попытаться оценить. Шансы точно есть. :)
Все было бы просто, если бы именно эта модель использовалась в реале. Кстати, почему Вы решили, что конкурс был основан на текущем алгоритме? ИМХО, это не так. ;)
На конкурс выдали такую градацию, на РОМИП-2009 фактически использовалась бинарная vital=1/все остальное=0, как оно в реале - дело темное.
Не факт.
Только в рамках конкурса.
Сомнительное утверждение.
Наверняка. :)
Ага.
Так это в общем-то достаточно очевидно для такого вида функций.
Думаю, что больше.
:) Ну в целом можно пойти и другими путями, да.
В конкурсе использовался tf*idf, в реале - уже нет, и якобы давно. ;)
Верно, их-то и нужно пытаться реинжинирить.
Если взять за подобие "истины" доклад Яндекса на РОМИП-2009, то "машинное обучение" в понимании яндексоидов - нахождение хороших экстремумов некоей целевой функции от ранжирующей. :)
Не даст такая связь ничего абсолютно, ИМХО. :)
Откуда известно?
Если догадка верна, то халявные оптимизаторы на конкурсе не справились и на такой подход могли вообще забить.
З.Ы. Прошу сильно не пинать за сумбурность, т.к. немного на южных морях и башка явно перегрета на солнце. :)
Все не совсем так, как Вы думаете с этими асессорами. Я, к сожалению, не читал инструкцию для асессора Яндекса, она теоретически может быть отличной от мировой практики, т.к. разработчики в Яндексе иногда очень креативно отжигают. :)
Мировая практика с асессорами такова - асессоры, как правило, не оценивают ранжирование документов, не сравнивают документы по релевантности. Хотя бы потому, что и запрос может трактоваться многими способами, и асессор может быть не спецом в теме. Асессоры оценивают пары <запрос-документ>, обычно по критерию "документ релевантен(еще говорят витальный, но это не та витальность, которая пришпиливает топ-1/частично релевантен/не релевантен". И как бы все. :)
Оценки ранжирования могут быть только на узкотематичных коллекциях документов с привлечением асессоров-профи в данной теме.
Инструкция для асессоров обычно как раз и содержит правила, по которым нужно относить пары в ту или иную категорию.
И задача обучения - сделать например в топ-100 выдачи как можно больше "документ релевантен", если такие документы присутствуют где-то в индексе ПС.
Задача ранжирования по "истинной" релевантности для конкретного пользователя при этом никогда не рассматривается, т.к. ее формализовать в настоящее время не реально.
Для того, чтобы формализовать такую задачу, можно поступить следующим образом. Задавая запрос, пользователь может хотеть получить десятки, а то и сотни разных ответов, но скорее всего есть наиболее распространенные два-три ответа. Если оценить все документы в выдаче по критерию "на какой именно вариант запроса отвечает документ", а потом посчитать доли кликов реальных пользователей на документы каждой группы, то наверное можно сформировать некую пропорцию в выдаче на первых страницах. Но это задача будущего, ИМХО. :)
З.Ы. Выложили труды РОМИП-2009.
Сниппеты не связаны с апдейтами выдачи, а алгоритм выдачи сниппетов не стабилен минимум с декабря, раньше я не пытался его реинженирить. Яндексоиды пока не смогли получить хорошего алгоритма аннотирования, так что сниппеты и дальше будут меняться.
Страницы с давно снятыми ссылками могли еще не переиндексироваться.
В том смысле, что будут выложены в архиве на их сайте.
На РОМИПе я был в качестве докладчика, знакомых морд не видел, может кто и был по-тихому. :)
