Яндекс на RCDL 2010. Поведенческие факторы и разнообразие выдачи.

Ну, естественно! :)

Вопрос в том, что чего же они раньше так плохо фактор расстояния между словами учитывали!

И я думаю, что дело, наверное не в том, что фактор расстояний плохо расчитывается, он именно плохо учитывается!

Т.е. текущий фактор расстояний учитывается с недостаточным весом и/или не в том месте/связке в деревьях.

А добавление еще одного фактора расстояний, видимо, улучшило вес в 2 раза, от сюда и улучшение качества поиска :)

Думаю, если добавить еще с десяток модифицированных факторов, учитывающих расстояния, то качество информационного поиска еще возрастет :)

Ну, если позаниматься этим вопросом, создать новый matrix net по оценке качества поиска, который учтет сотни факторов поведения юзера в серпе, то может и можно к чему-то хорошему прийти в оценке качества поиска.

"Зло пожирает само себя" :)

john2007 добавил 27.10.2010 в 14:08

ИМХО, единственный поведенческий, который можно учитывать -

Висит сайт в выдаче, на все сайты там юзеры кликают, а на этот не кликают (по какой-то оценке).

Ну и нафиг там сайту по этому запросу висеть?

А уж какая причина, то ли сниппет с тайтлом плохой, то ли тематика (под тематика) не та, или какая другая причина.

А количество таких сайтов в выдаче ПС - вот и одна из метрик качесва поиска :)

Точнее количество выдач с такими сайтами.

Ну, понятно, это же в лабораторных условиях было, была поставлена цель - найти ответы!

Вот у Гугла лучше и получилось по этой методе с временем.

Я удивлен, как это у них с Яндексом деление на бесконечность не получилось :)

Кстати, а на основе чего было принято, что одно расстояние между словами должно учитываться хорошо, а несколько большее - хуже? Какие расстояния были взяты за основу, и по какому принципу?

Ну, не по конкретным формулам, а вообще, в самом начале.

Имперически :)

И там не оптимальное расстояние, а чем меньше, тем лучше.

Во-во. Это тоже к вопросу о неверных предпосылках - кто вообще выдумал, что "чем меньше, тем лучше"? На основе какой, объёма и качества, эмпирики?

Эмм... Логически? :)

Чем ближе в документе все слова из запроса, тем вероятнее, что в документе речь идёт именно о предмете запроса, а не о схожих по смыслу или лексически. Ну это как с прямым вхождением.

Капитан очевидность. 😂

FlyAway добавил 27.10.2010 в 14:43

Согласен. Кликабельность имхо очень сильную роль играет.

Разве? Предположу, что даже не в большинстве случаев.

Можно не брать специфические варианты, типа этого форума (каково оптимальное расстояние между ключевиками в этой теме, например?) - достаточно принять, именно логически, что люди пишут тексты по-разному и, соответственно, "предмет запроса" определяется в первую очередь именно "по смыслу и лексически", а не по среднетемпературным расстояниям между словами.

Я к тому веду, что при расчёте пузомерок (как вероятности перехода по ссылке) и прочих трастовых окон такие значения ещё можно приводить к каким-то общим и "обезличенным" результатам, но вот при учёте поведенческого - проблема станет в полный рост.

Допустим, что рассчитывать веса ссылок, исходя из вероятности перехода по ним - подход правильный. Но что делать, если ссылка тем или иным способом становится невидимой? Учитывать её при ссылочном/анкорном и всяком прочем ранжировании ещё как-то можно, но для поведенческого её вес прямо и стопроцентно равен нулю, без каких-либо предварительных и последующих вычислений.

Другой пример - кликабельность сниппета. Как её алгоритмизировать для поведенческого, кроме очередных "средних по больнице" статистик кликабельности? К примеру, сниппет, кликабельный для простых пользователей, будет совершенно незаметен для слабовидящих и/или дальтоников - а это уже двузначный процент. Отнесём в погрешность? Так это лишь яркий пример, без тонкостей и нюансов. Придумаем методику?

Но где взять методику для измерения офлайновых действий через онлайн-инструменты? Они попросту не пересекаются. Метрику в мозг не имплантируешь и бары на очки не навесишь.

Так что все рассуждения на тему учёта есть не более, чем игрушки, а-ля статистика по возрасту и, о чудо, полу - вторичные и далее выводы, полученные через наблюдения за сайтами анекдотов и женских форумов.

Угу. А если еще равномерно растянуть ТОП10 до ТОП1000, что бы скоррелировать результаты, то... может что и получится.:)

Бо за ТОП30 - жизнь... только на Марсе.😂

Кста!

- А куда и как в нее, методику, всовывать новые сайты?

Речь о тех 5%, которые все же просто сайты, а не СЕО-"творения"

Не нужно предполагать, исходя из житейских логик. Бесполезная трата времени. :)

Как добавляется новый фактор в матрикснет? Рассмотрим на примере того же YMW.

Для начала фактор YMW рассчитывается для всех документов обучающей выборки и проверяется (мат. методами) его независимость от уже имеющихся факторов. Но в случае данного фактора и так понятно, что независимость есть на длинных запросах, а значит и в целом она есть.

Затем матрикснет обучается с этим фактором и считается метрика качества обучения. Если с добавлением фактора качество не ухудшилось - фактор принимается в набор.

Логика фактора при этом не важна, главное, чтобы выполнялись указанные выше условия. Т.е. если например они бы выполнялись для фактора "количество точек в документе", или "количество тегов <td>", то такие факторы вошли бы в набор. Легко. :)

Я ничего из этого не понял, кроме того, что понял, что Вы меня не поняли :)

Поэтому объясню еще раз на примере.

Висит сайт X на 5-ом месте по запросу "розовые слоны", на него кликнули 1 раз за 3 дня . А на все остальные сайты из топ10 минимум 10 раз на каждый сайт за это же время кликнули.

Вопрос, зачем в выдаче сайт X на 5-ом месте, да и вообще в топе по запросу "розовые слоны" ?

Поэтому причем тут новые сайты к этой методике я не понял :)