Частота апдейтов ссылочного ранжирования

Т.е. подразумевается, что до этого всего «настройки машинного обучения на основе рипортов асессоров» не вносили необходимых компенсаций в ранжирование «продвигаемых» страниц. Это же клевета на Всемогущего!

Глядя на хвост запросов, по которым заходят, пытаюсь прикинуть — какие из них можно счесть за «коммерческие», а какие за «некоммерческие»? Часто не могу однозначно предположить, чего хотел искатель — товар или инфу про его применение?.. и это при том, что конкретная тема мне известна гораздо лучше, чем асессору, ну и всем тем, кто взялся точно разграничить про всё-всё.

Какова реальная применимость этих данных? Что там с «шумом»?

Реальная задача асессоров не в этом...

... ну, сделайте запрос про дебри вашей специализации и оцените релевантность ТОПа, и прикиньте — сможет ли то же сделать обычный искатель / асессор? Да, но со своей колокольни / выполняя инструкцию... и релевантностей получится несколько — все субъективны и без претензий на (не однозначную) истину. Какую же релевантность считать «правильной»?

ПС, как коммерческий проект — обречена быть релевантна не какой-то там истине, а массовому юзеру... его-то мутные реакции и имитируют асессоры. Если полученные от них данные (с умеренным отношением сигнал/шум) позволяют с достаточной точностью выявить какие-то характерные признаки/типы страниц/ссылок... машинное обучение сможет «улучшить».

Все не совсем так, как Вы думаете с этими асессорами. Я, к сожалению, не читал инструкцию для асессора Яндекса, она теоретически может быть отличной от мировой практики, т.к. разработчики в Яндексе иногда очень креативно отжигают. :)

Мировая практика с асессорами такова - асессоры, как правило, не оценивают ранжирование документов, не сравнивают документы по релевантности. Хотя бы потому, что и запрос может трактоваться многими способами, и асессор может быть не спецом в теме. Асессоры оценивают пары <запрос-документ>, обычно по критерию "документ релевантен(еще говорят витальный, но это не та витальность, которая пришпиливает топ-1/частично релевантен/не релевантен". И как бы все. :)

Оценки ранжирования могут быть только на узкотематичных коллекциях документов с привлечением асессоров-профи в данной теме.

Инструкция для асессоров обычно как раз и содержит правила, по которым нужно относить пары в ту или иную категорию.

И задача обучения - сделать например в топ-100 выдачи как можно больше "документ релевантен", если такие документы присутствуют где-то в индексе ПС.

Задача ранжирования по "истинной" релевантности для конкретного пользователя при этом никогда не рассматривается, т.к. ее формализовать в настоящее время не реально.

Для того, чтобы формализовать такую задачу, можно поступить следующим образом. Задавая запрос, пользователь может хотеть получить десятки, а то и сотни разных ответов, но скорее всего есть наиболее распространенные два-три ответа. Если оценить все документы в выдаче по критерию "на какой именно вариант запроса отвечает документ", а потом посчитать доли кликов реальных пользователей на документы каждой группы, то наверное можно сформировать некую пропорцию в выдаче на первых страницах. Но это задача будущего, ИМХО. :)

З.Ы. Выложили труды РОМИП-2009.

Да это понятно... но представьте, что ТОП (и величина pfound) изменяется, если асессор понимает больше/меньше на тему какого-то запроса/документа, хотя «реальный юзер» может отчичаться и меньшим, и большим пониманием.

Почитываю их уже месяцев несколько.

Они крайне конкретно предлагают проявлять Собственное мнение:

Эти легковесные/приблизительные инструкции — могут сделать процесс оценки слишком разумным, хотя оценивающий может быть совсем не в теме оцениваемых документов.

Т.е. по многим причинам неизбежно накопление шума, ограничивающего применимость этих данных.

Когда следующей весной тут возникнет тема «Великий Яндекс на парижской конфе заявил, что по некоммерческим запросам умеет отличать рекламу от инфы», это будет означать, что в имеющуюся систему добавилось новых факторов, возможно, требующих соотв. настроек по оценкам асессоров... и вполне вероятно, что ГА надо будет некоторое время (до появления приемлемых результатов) их переварить. И в это время можно будет тут пофантазировать об чём-нибудь частичном.

Хм... Реверс-инжиниринг функции минимум о 163 переменных представляется весьма непростой задачей. Хотя, чем черт не шутит, если на самом деле полином, т.е. функция линейная... Значимых факторов ведь все рано не больше десятка наберется...

Всё нелинейное (долго считаемое) можно посчитать заранее и вписать в соотв. шкалу-фактор:

Чем менее однородной будет толпа оптимизаторов, тем больше будет значимых факторов и тем на больших выборках запросов придётся их выяснять... а пока что-то не стало заметной тенденцией, оно спокойно тонет в шуме, даже если для этого уже заведены шкалы-факторы.

Никакая написанная словами инструкция не может помочь описать поведение реального искателя, часто думающего спинным мозгом, типа «голосуй хвостом!»... и вообще, безуминки хватает, а игнорировать её глупо, и асессорам тоже, а представлена она ими заведомо не репрезентативно (интересно, что об этом думают те, кто дает им задания и пытается обработать это всё статистически).

Так что делайте выдачу для людей-реальных.

Вообще-то 163 это номер страницы. :)

Да что Вы говорите?

Пардон, просто забавное совпадение:

:)

Товарищи, выше, в этом топике, было озвучено мнение, что возможно Яндекс уже ввел Мадридский алгоритм выявления СЕО ссылок. Поэтому, теперь он, согласно выступлению, умеет определять коммерческие ссылки, и сводить их влияние к нулю в НЕКОММЕРЧЕСКИХ тематиках чуть ли не с вероятностью 97%.

А что нам мешает, просто провести микро "эксперимент" - взять пяток другой некоммерческих запросов (например "дифференциальное счисление" вас устроит? =) ) и согласно формулам (1) и (2) в пункте (2.4) увеличить параметры SEOlink каким-нибудь "трастовым", не испорченным СЕО, образовательным ресурсам, или сайтам каких-нибудь институтов?

Если ресурсы существенно взлетят в позициях, то, о Мадриде можно пока забыть, или хотя бы посмеяться над "97%".

Другое дело, что надо поставить опыт наиболее чистым образом, я пока этого не продумывал.

Но идея, на ваш взгляд, здравая?

Любопытно. :)