Про разделители («.» «?» «!» «,») в анкоре ссылки.

Т.е. документы-предложения [aa bb cc dd] и [aa aa bb cc dd] будут иметь одинаковый вес по отношению к запросу [aa bb]?

-а после того, как "отработал механизм кворума", у каждого пассажа возник свой вес, зависящий в т.ч. и от расстояний между словами. И как предполагается выцепить из этого веса ту долю, которую туда вложило конкретное слово?

Отнять и поделить? :)

-ну, я думаю, что должен выцепиться более релевантный фрагмент "aa bb", если переколдовка запроса была aa & bb

После того, как отработал механизм кворума, никакой вес у пассажей еще не возник. Вес у пассажей возникает позже, на этапе ранжирования (в терминах статьи).

euhenio, я особо не настаиваю на описанном механизме. Но скажите, Вы считаете, что это такая большая проблема - распределить каким-либо образом вес термина по пассажам?

Ну так, веса у этих документов-предложений одинаковые будут или нет?

-вообще да, думаю, одинаковые. Но я бы все равно при оптимизации написал побольше слова aa - на всякий случай. :) Да и бб добавил бы. :)

-Идею понял лучше. Веса считаются после прохождения кворума. Но ммм... как бы так сказать... Ну, например.

Есть 2 пассажа во фразе А Б А по запросу А & Б.

Будем предполагать (думаю, разумно), что вес двусовных пассажей пропорционален произведению веса А на вес Б. Плюс учет расстояния.

1. Wab=вес пассажа А Б=K1*Wa*Wb

2. Wba=вес пассажа Б А=K2*Wa*Wb

K2<K1 (обратный порядок слов)

Если мы для перекрывающихся пассажей уменьшили вес слова b вдвое, вместо Wb используем Wb/2:

Есть 2 пассажа, перекрываются с весом второго слова Wb/2:

W2=Сумма весов пассажей=Wab+Wba=(K1/2+K2/2)*Wa*Wb

Если бы в документе был учтен один пассаж А Б, а второй не учтен:

W1=вес документа Wab=K1*Wa*Wb

Теперь сравниваем W1 и W2. Теоретически должно быть W2 > W1, чтобы сумм вес перекрывающихся пассажей был выше, чем одного, мы ведь для этого все затеяли, иначе нет смысла извращаться с перекрыванием весов. Тогда:

K1/2+K2/2 > K1

=>

K2>K1

Т.е. вес пассажа с "обратным расстоянием" д.б. выше, чем вес пассажа с прямым расстоянием. Я думаю, это было бы нелогично.

Конечно, здесь есть предположение, что вес двусловного пассажа пропорционален произведению весов слов - считаю его разумным.

Это принципиальный вопрос. В Ваших терминах, действительно, получается, что веса этих двух документов-предложений будут равны. Но, интуитивно, не кажется ли Вам, что документ [aa aa bb cc dd] желательно поместить в СЕРПе выше документа [aa bb cc dd] по запросу [aa bb] (при прочих равных)?

Стоп! А откуда взялось произведение? Я с этим, как бы, не совсем согласен. Прошу пояснить, по возможности.

Я как бы тоже. Почему не сумма? Читаем у Сегаловича:

Под "собираются" мне явно видится сумма.

И все-таки идея пересекающихся пассажей мне кажется неверной. Вижу два пути - "лишнее" вхождение какого-либо термина в пассаже игнорируется:

1) только на этапе прохождения кворума

2) как на этапе прохождения кворума, так и на этапе ранжирования

Всё-таки IDF на этапе прохождения кворума и этапе ранжирования расчитываются по-разному (степенная функция в первом случае и логарифм во-втором) Что мешает внести и другие различия?

Нам со стороны сложно судить, что именно прижилось в поиске и по каким причинам.

Первое, имхо, логичнее т.к. получится учесть веса повторяющихся терминов при вычислении веса пассажа. Но возникнут сложности с "табулированным набором коэффициентов" - он же не резиновый, на все варианты "повторяемости терминов" коэффициентов, имхо, не напасешься :) В случае использования пересекающихся пассажей такая проблема не стоит.

По этапу прохождения кворума - тут вообще все довольно интересно. Мне кажется логичным, что каждый термин должен учитываться один раз, независимо от того, сколько раз он встречается в запросе или пассаже. Например, имеем запрос [a a b], где а - тяжелый термин. Должен ли пройти кворум пассаж [a b]? Если термин а в запросе учитывать дважды, то ведь может и не пройти.

А вот на этапе ранжирования должно учитываться всё, т.к. расстояния различные. И "табулированный набор коэффициентов" должен быть пусть не резиновый, но весьма обширный. Впрочем, не вижу тут никакой технической сложности. Вармантов, конечно много, но прописать их надо в наборе всего единожды и навсегда. Да и пользоваться терминологией "один, два и много" тоже не запрещено :)