Как работает поиск Яндекса (ранжирование в топ)

Тут в топике проскакивала интересная мысль, что чем больше в топе нерелевантных сайтов, накачаных Г-ссылками, тем меньше учитывается ссылочная составляющая в общей формуле.

Система ранжирования на основе обучения, в долгосрочной перспективе является саморегулируемой, подавляющей новые виды накрутки не точечно, а целиком, задавая сочетаниям факторов, приведших к накрутке, нулевой или отрицательный вес.

Практическое применение может быть такое - заметили в топ10 нерелевантный сайт - посмотрели засчет чего он вылез - отметили для себя, что так делать нельзя :)

Вряд ли имеет смысл так делать, во первых по одному ТОПу судить нельзя нужно отслеживать их много и если в большинстве полезут нерелевантные сайты, тогда уже думать. Во вторых система инертна, алглритм отфильтровывающий эти нерелевантные сайты может появиться через несколько месяцев - так что можно сперва наоборот скопировать их стратегию продвижения, но подготовить новую загодя и быстро её поменять при намёке на смену алгоритма.

Фильтр ты последний с точки зрения алгоритма. Вводим новый 246-ой параметр: «злобный фильтр». Принимает значения 0 и 1. 0 – для всех обычных сайтов, 1 – для сайтов под фильтром. Добавляем калибровочные пары в базу асессоров: «релевантный запрос – релевантный документ на сайте под фильтром» - релевантность 0. После следующего пересчета у сайтов со значением 1 в поле «злобный фильтр» падают в результатах очень далеко или вовсе вылетают. Проставлять 1-ки для страниц сайта в поле «злобный фильтр может как человек, так и автомат.

На официальное признание не тянет. Его же не существует? :)

Turbo, и правда - Садовский ведь чуть ли не божился что фильтра нет. А тут - хотя если параметр не называть "злобный фильтр", а назвать "идите в жопу" - то выходит что фильтра то и нет никакого :)

Но если серьезно то не подходит ибо ассесорами оцениваются то запросы а не весь сайт, а под ты последний улетает весь сайт целиком.

Фильтра нет и непота нет, и гибдд взяток не берут:D Есть совокупность факторов которые приводят к такому финалу, разные комбинации - потому и нет конкретного названия. Скажем из 100 параметров, должны 80 быть негативными, а какие 80 всё равно.

Ну если по наугад взятому запросу, страница получает негативную оценку у нескольких ассессоров. То можно в следующий раз уже проверить запросы по конкретной выборке сайтов. Если попрежнему ничего положительного, то эта группа сайтов квалифицируется как ГС - вычленяются их признаки, а затем экстраполируются на всю базу.

Ну это я, так, фантазирую. =) Фильтры, если они есть, скорее всего накладывают отдельно от этого алгоритма. Либо на этапе выборки что вообще показывать, либо уже после расчета релевантности.

При правильных в общем-то предпосылках сделаны неверные выводы:

Одна и та же выдача оценивается в разные моменты времени разными группами асессоров. Т.е утверждение справедливо только до тех пор, пока не будет произведена новая оценка выдачи.

Ну да, уборщицы (тоже люди) не в курсе. А так и ежику понятно, что например, для новостных запросов ссылки рулят меньше, чем контекст, а для энциклопедрических(ц) запросов больше рулит авторитетность самого ресурса, содержащего статью. Т.е. в общем случае нельзя утверждать, что больше рулит, но для конкретного запроса как минимум один человек в Яндексе всегда определённо может установить параметр, внёсший максимальный вклад в релевантность.

Есть. Более того, есть параметры, монотонное изменение которых ВСЕГДА приводит к скачкообразному изменению релевантности :)

В коммерческих конкурентных топах нерелевантных сайтов нет ;) Там релевантных выше крыши и все в топ хотят

Предположим, что страничку оценил не один асессор, а десяток. Средняя оценка может оказаться не высшей.

<!--

в действительности, оценки людей — это нечто подверженное случайностям и непредвиденностям (поэтому бестолку вычислять релевантность слишком уж точно).

Шум усредняется и сглаживается на больших выборках, при этом не очень важно: один запрос оценивается одним асессором или многими.

-->

Предположим невообразимое: все асессоры поставили высшую оценку паре <запрос-документ>, но в процессе настройки формула ранжирования может получиться такой, что конкретный документ не будет первым даже на обучающей выборке. А в действительности ПС обрабатывает запросов на три порядка больше, чем оценили ассессоры. И ПС решает задачу ранжирования не одного документа.

Там будет (0 ± 1), если значения оценок {0|1|2|3|4} отрицательные значения оценки вообще не определены, считать ошибку надо иначе... так что увеличивайте количество оценок, поскольку надёжность одной единственной — минимальна. А фонд оплаты труда ограничен.

Оценка асессора — вероятность (всегда < 100%), что документ соответствует запросу с т.з. асессора, хотя так и остаётся неизвестно, что хотел искатель.

Релевантность с т.з. ПС — вероятность (всегда < 100%), что искали именно это...

Криптография пытается превратить сигнал в шум или в почти шуме заметить сигнал. У ПС задача проще...

Это не противоречит http://ru.wikipedia.org/wiki/SVM#.D0.9F.D0.BE.D1.81.D1.82.D0.B0.D0.BD.D0.BE.D0.B2.D0.BA.D0.B0_.D0.B7.D0.B0.D0.B4.D0.B0.D1.87.D0.B8