Про разделители («.» «?» «!» «,») в анкоре ссылки.

Есть какие-либо предпосылки для гипотезы о пересечении пассажей? Ведь в этом случае конкретный термин может быть учтен несколько раз.

От подобного эффекта несложно избавиться. Скажем таким образом - уже после формирования пассажей через кворум (т.е. перед вычислением веса пассажа) вес каждого "общего" термина (входящего в несколько пассажей) уменьшается в N раз. Где N - кол-во пассажей, в которые входит термин.

1). Возьмем Ваш пример. Имеем предложение [aa bb cc aa] и запрос [aa bb]. Я предполагаю, что формировать пассаж [aa bb _ aa] некорректно именно из-за того, что термин аа будет учтен дважды на этапе прохождения кворума. В результате может быть сильно искажена идея кворума. Возникнет опасность, что пассаж сможет преодолеть кворум не потому, что в нем имеются "тяжелые", смыслоразличительные термины, а только из-за того, что присутствуют в большом кол-ве "легкие" слова.

Другими словами, можно предположить, что пассаж формируется таким образом, что каждое слово из запроса входит в него не более одного раза.

2). Рассмотрим два документа-предложения:

[aa bb cc dd] и [aa aa bb cc dd]

где aa - "тяжелый", смыслоразличительный термин, bb cc dd - термины с относительно невысоким весом.

Согласитесь, что при запросе [aa bb], не плохо было бы за вторым документом признать больший вес, чем за первым. В частности, механизмом, позволяющим это сделать, может быть механизм пересекающихся пассажей.

по моему мнению

1. в принципе, да, единственно есть скользкий момент (не только с поиском в документе, и в предложении мб) - когда одинаковых уникальных найденных слов, удовлетворяющих контекстным ограничениям, больше одного. Я думаю, что на один пассаж одно уник. слово должно учитываться один раз (если слово в запросе одно), иначе можно "левыми" словами забить вес пассажа так, что пассаж пройдет кворум и будет найден. А реально неполный пассаж не находится. Подсветчик не считаем - он все выделяет.

2. Серег, фтыкай в текст, который сам цитируешь: :)

-все 4 слова есть в запросе :)

PS Ну или м.б. ты имел в виду расстояния между найденными 4 словами? Это как раз тоже наводит на вывод, что остальные слова только разбавляют пассаж, играют роль дырок между найденными словами

имхо, имелось в виду, что и [aa __ BB __ cc dd ee], и [aa BB cc dd __ __ ee] названы в статье пассажами. И если считать пассаж запросозависимым, то при запросе [aa BB cc dd] в эти пассажи не должны были войти термины ее

Кот, ты про слово ее, мне кажется, Вольф вряд ли про него говорил.

Но если про ее, то зачем его отдельно вписывать. а другие слова прочерками обозначать? ну и ошибка может быть, в конце-концов - по сравнению с ошибкой в формуле расчета веса кворума это мелочь :)

По ходу, именно про это Вольф и говорил, имхо. Впрочем, он сам уточнит, я думаю.

:) Я это и имел в виду, когда говорил:

Именно про ее я и говорил.

Ну, там просто скобочку просто не туда поставили. А тут целый новый элемент :)

И всё таки не нравится мне гипотеза с перекрывающимися пассажами. Сам не знаю почему...

Ок. Вычеркиваем! :)

-вступай в наш альянс. Мне тоже не нравится. Пришли в качестве вступительного взноса 666 маленьких пассажей или один очень большой :)

-вес термина мы уменьшаем в КАЖДОМ ИЗ НАЙДЕННЫХ пассажей? Если да, то тогда во фразе А Б А по запросу А Б документ может не найтись, т.к. вес слова Б занижен - он входит в два перекрывающихся пассажа. Т.е., ни первый, ни второй пассаж по отдельности не будут найдены за счет заниженного веса слова Б. Но это нелогично - ведь фрагмент А Б есть в документе.

Ну или так. Есть запрос ноутбуки S123345, который переколдовывается обычно как ноутбуки && S123345 - в документе. Если вебмастер употребил фразу ноутбуки S123345 10 раз в документе - это 10 раз ноутбуки и 10 раз S123345. Итого вес каждой фразы (которых получается 100) уменьшается в 100 раз, и каждый фрагмент не найден.

Я думаю, что пересекающихся пассажей не бывает, и либо документ разрезается на Н неперекрывающихся пассажей тупо по порядку следования слов, либо выбирается один наиболее релевантный пассаж. Но первый вариант, имхо, разумнее.

Это как с мелкомягкими? Всем не нравится, но все пользуются? :)

Да, в каждом. Но только после того, как отработал механизм кворума. И я об этом писал:

И еще я там написал: "Скажем таким образом... " , т.е. я не заострял на этом внимание, просто показал, что не сложно нивелировать негативные последствия многократного учета одного и того же термина.