Формула релевантности

Уверен, что никакой экономии сил, денег и времени не будет, т.к. 99% оптимизаторов этого форума тут же воспользуются этой формулой. И всех, что ли, в топ?

Cage,

1) Даже в любой науке (не говоря уж о технологии, как верно заметили) есть задачи принципиально неразрешимые. ИМХО но Ваша относится именно к таким.

2) Полная зависимость (а не формула) от разных факторов - бесполезна. Даже если это произойдет - Яндекс будет вынужден значительно изменить алгоритм (аналог - шифры коммерческих и госструктур), как только становится известно об утечке - они сразу изменяются.

С этим, в некотором смысле, можно согласиться. Но, с другой стороны, факторов для анализа (у самих поисковых систем) не так много, имхо.

Вопрос интересный. Формула не обязательно должна быть публичной. Мы тут скорее обсуждаем возможность ее получения.

Я вот как раз и интересуюсь, в чем ее "принципиальная неразрешимость". Я уже задавал этот вопрос в этой теме (повторяемся :)). Вот Вы, alut, как думаете?

Наверное, люди раньше думали, что вычислить скорость света тоже "принципиально невозможно". На данный момент у меня сложилось мнение, что многие считают, что получить формулу релевантности невозможно только потому, что они не знают, как ее получить...

По методике Миныча тоже что-то никто не высказался, к сожалению :).

Я уже говорил (опять повторяюсь :)), имея метод, формулу можно получать после каждой смены алгоритма. Там же я заметил, что не давать информацию об алгоритме Яндекс _не_может_ (!). Яндекс отображает выдачу пользуясь характеристиками сайтов. И то, и другое нам доступно, и это не скроешь :)

Cage,

Прежде, чем вычислить скорость света, люди научились измерять просто скорость, затем определили среду, в которой свет распростаняется и т.д.

По отношению к Вашей задаче из этого и следует важность небольших предварительных экспериментов для выяснения основополагающих вещей.

Не так много?:) А ну попробуй перечислить те, которые ты знаешь и приведи пример их ЧИСЛЕННЫХ значений, так как для формулы нужны именно числа.

Cage, так в чем проблема-то? Выводите формулу, мы вас отговаривать больше не будем. Как выведете - запостите в этот топик.

Тогда обсудим :)

Рад тому, что почти земляки мои стали чаще попадаться. Как никак в Ст. Петергофе 4,5 года прожил и даже один год в новом Университете обучался... Да и красивые парки возле Биологического Института, у моря, всегда вспоминаю, не говоря уже о Петергофских фонтанах.

1. А почему именно 100, 70, ? В данных результат измерений, а не высосанные из пальца цифры. Главное - что какую бы линейку мы не взяли (download.ru,...), в пределах погрешности графики совпадают. Тестовый запрос для каждой "измерительной линейки" был разным, от "бухучета", до "математики", причем в запросе, как правило, было не одно слово, а взятые с оператором ИЛИ несколько слов. Плюс использовался для перекрестного контроля оператор процента %, параметр мягкости, оператор расстояния между словами,... И еще кое что :)

2. Корень из логарифма, насколько я знаю, можно смело относить на мой счет :))) И я считаю это своим достижением.

Собственно, любая монотонная функция может быть ранжирующей, но математики любят линейные функции, так вот именно эта функция "линеаризует" релевантность, т.е релевантность при такой функции становится пропорциональной числу найденных слов, умноженному на корень из логарифма веса (для однословных запросов). О "тошноте", как коэффициенте спама (или, иначе, "контрастности") мы здесь не говорим. Как и о "ступеньках".

3. Отличное совпадение разных измерительных линеек для такого спамного слова как "недвижимость" для топ10 говорит о том, что эта же формула для корня из логарифма веса используется и в ссылочном ранжировании.

4. Можно взять и другую функцию, как предложено выше, но она не будет линейна по числу найденных слов в ссылках и в тексте страницы!

Это неудобно, например, для ответа на вопрос: сколько еще мне слов "недвижимость" добавить в стоящие уже ссылки и текст страницы, чтобы догнать конкурента? Если известно, что я от него отстаю в два раза при использовании функции "корень из логарифма"? Ответ будет: в два раза больше :)

5. И, наконец, не верьте полностью пункту 4, так как он имеет одно ограничение: мы считаем, что коэффициент "тошноты" не изменится, если мы увеличим вдвое число слов "недвижимость", а это неверно! (при определенных условиях), т.к. такая вставка слов может изменить "тошноту" :)

Основная проблема - определить ВИЦ. Все остальное представлено в открытом виде: внутренние факторы (кол-во слов в тэгах, ссылках, словообразование), внешние (кол-во ссылок с морд, внутренних, по ключевику, без ключевика).

Варианты с ВИЦ:

1) экспериментально (ставим ссылки с уникальными словами, после апдейта смотрим серп, вариант плох большими временными затратами и отсутствием универсальности)

2) ориентир - PR ссылающихся морд, т.к. из-за редких апдейтов погрешность велика, необходимо собрать данные по ссылающимся на морды, которые ссылаются на целевой сайт. Чем больше итераций, тем меньше погрешность. (минус - погрешности все равно будут большие =), большие тех. требования)

Откуда взялись мои цифры, я уже говорил. Они произвольные.

Вы делаете свои выводы на основании того, что Вы берете разный набор цифр (разные линейки в Вашей терминологии), проделываете над ними нехитрые операции (X'=КОРЕНЬ(LN(X)) и нормировка) и получаете почти одинаковые результаты. Я Вам показал, что ничего необычного в том, что результаты одинаковые, нет. Они часто будут получаться одинаковыми. Вы только вдумайтесь! Результаты почти совпали с Вашими даже с _произвольными_ числами :)

А Вы ведь используйте тот факт, что результаты одинаковые и делаете многозначительные выводы.

Такая "одинаковость" результатов обеспечивается особенностью придуманных Вами преобразований (функция + нормировка).

Я поздравляю Вас с достижением, но вот только Вы не сказали, откуда эта формула взялась?

Здесь Ваши термины становятся совершенно не понятны. Что означает

- функция "линеаризует" релевантность

- релевантность становится пропорциональной числу найденных слов (слов, найденных где?)

- "тошнота", как коэффициент спама

Но мы оставим вопрос обсуждения Вашей терминологии, т.к. есть более интересные вопросы. Например, с чего Вы взяли, что

?

Взять функцию y=x (т.е. обойтись одной нормировкой без преобразований) можно? Попробуйте! Сравните результаты между собой! Удивитесь! :)

К сожалению, Вы не ответили на мои самые главные вопросы:

На каком основании Вы из рангов вычитаете ранги? Это делать нельзя...

Имеет ли значение запрос?

Проанализируйте выдачу по запросу "недвижимость|вышивание". Сравните полученные результаты с Вашими...

Ничего такого доказательного Вы не привели. Возьмете произвольные цифры: получите произвольные результаты.

Подтвердите конкретным расчетом на примере, а то я даже затрудняюсь Вам разъяснить свою позицию. : не сочтите за агрессивность :)

Если же Вы возьмете другую ФУНКЦИЮ (НЕ РЕЗУЛЬТАТЫ ИЗМЕРЕНИЙ, а ИХ ОБСЧЕТ ИНОЙ формулой), то повторяемость БУДЕТ 100%, что и ДОКАЗЫВАЕТ универсальность МЕТОДИКИ ИЗМЕРЕНИЯ, а НЕ ФОРМУЛЫ!!!!

Формула же корня квадратного из логарифма имеет единственное, но УНИКАЛЬНОЕ достоинство: ОНА ЛИНЕЙНАЯ ПО ЧИСЛУ НАЙДЕННЫХ КЛЮЧЕВИКОВ!!!!

Поясню на примере:

На двух страницах есть:

на первой одно слово БОЛЬШОЙ и нет слова МАЛЕНЬКИЙ

на второй два слова МАЛЕНЬКИЙ и нет слова БОЛЬШОЙ

Допустим, что страницы НЕСПАМНЫЕ, т.е. коэффициент "тошноты" у них одинаков.

Если нет внешних ссылок, (или они все эквивалентны), то какая страница будет выше в выдаче по запросу:

БОЛЬШОЙ | МАЛЕНЬКИЙ ???

Ну-ка определите это с помощью Ваших других с потолка взятых цифр!!!

А мой ответ такой:

Если ОДИН*sqrt(ln(вес_слова_БОЛЬШОЙ))>ДВА*sqrt(ln(вес_слова_МАленький), то первой в выдаче будет будет страница со словом БОЛЬШОЙ.

К сожалению, этот ответ не совсем точен, так как Яндекс производит округления своих вычислений до целого числа, которые могут привести к РАВЕНСТВУ и тогда вступает в силу следующий критерий сортировки.

Показательные примеры таких округлений (ступенек) Вы можете увидеть здесь:

Алгоритм Яндекса поиска и ранжирования документов и сайтов