Проверка весов (обратных частот терминов)

Давайте называть текстовым весом термина. Ну, можно еще текстовой IDF, но, правда, это хоть и строже, но как-то вычурнее

Начинаю вникать...

Проверил мою беглую гипотезу. Очень похоже, что она верна - "особые" термины колдуются с оператором %, как в старые добрые времена

недвижимость::вес &/(0 0) !%недвижимость::вес_особый

При эмуляция такой переколдовки на обычном термине без указания весов

мебель &/(0 0) !%мебель

получаем вес 149 - точно как было в варианте "мебель" с НПС.

Я вчера сам проверял на недвижимости. Насколько я помню, там где-то был еще и ::вес::0 был.(могу ошибаться) 143 на недвижимости я тоже получил. А вот вопрос меня этот все мучает - по каким принципам этим словам спец колдовка дается?

Насколько я помню, в определенный момент часы пропали так же быстро, как и появились. :)

Был ::вес:0. Так нейтрализуются неранжирующие термины

Ну, да, в этом случае получается, что один термин после переколдовки трансформируется в два (хоть они и одинаковые, но каждый учитывается отдельно). Поэтому методика восстановления веса по формуле прохождения кворума врёт - она не учитывает появление нового термина ;)

P.S. Кстати, в варианте с НПС Вы, похоже, тоже не учитываете дублирования термина. Поэтому на нем методика тоже врёт ;)

P.P.S. Не факт, что переколдовка Вами восстановлена верно. Можно однозначно говорить лишь о том, что после переколдовки вместо одного термина появляются два, а какие именно операторы при этом используются - сие есть тайна, покрытая мраком... :)

Могу ошибаться, но спецпереколдовка, ИМХО, тут не при чём. Иначе бы и в других методах проверки весов она бы применялась к определённому множеству слов. В конкретном случае, скорее всего, имеет место быть причина в "физических свойствах" методики.

Скажем так, что-то стало более твёрдым. ;)

Добавлю немного информации. Сделал серию тестов со термином мебель, инструмент - кворум по текстам документов. Напомню, что мебель - обычный термин, проблем с его взвешиванием нет. Колдуется, скорее всего, тривиально мебель::5046. Здесь использую его, чтобы имитировать поведение инструмента на особых терминах. Итак, первая колонка запрос, вторая - полученный вес.

1 группа

мебель &/(0 0) !%мебель 149

мебель::5046 &/(0 0) !%мебель::10 149

мебель::5046 &/(0 0) !%мебель::100 149

мебель::5046 &/(0 0) !%мебель::100000000 149

мебель::5046 &/(0 0) !%мебель::10:0 149

мебель::5046 &/(0 0) !%мебель::100000000:0 149

мебель::5046:0 &/(0 0) !%мебель::10 149

мебель::5046:0 &/(0 0) !%мебель::100000000 149

мебель::5046 &/(0 0) %мебель::5046 149

2 группа

мебель::5046 &/(0 0) мебель::5046 175

мебель::5046 &/(0 0) мебель::1000000 221

Мои комментарии:

1. Вес второго термина !%мебель не влияет на результат. Более того, отвечая на вопрос wolf об увеличении кол-ва терминов, могу сказать, что второй термин из-за оператора % не увеличивает QL (число слов запроса в кворуме) - мы по-прежнему работаем с QL=2.

В запросах первой группы лимит мягкости получился 0.2 <= S < 0.21. Пересчитав для такой мягкости и QL=2 найденный вес 149 в настоящий, получим вилку 4869 <= вес < 5760. 5046 туда попадает.

2. В запросах второй группы QL=3, т.к. нет оператора процента. Лимит мягкости в первом запросе 0.05 <= S < 0.06, во втором S < 0.01. Расчет неравенства кворума с этими весами, QL и S получается непротиворечивым.

3. По поводу ::вес:0. Видно, что на результат взвешивания нигде это не влияет. Кроме того, я сравнил выдачу однотипных запросов с :0 и без :0, и она везде совпадает. Например, для таких 3-х запросов

мебель::5046 &/(0 0) !%мебель::1000000

мебель::5046 &/(0 0) !%мебель::1000000:0

мебель::5046:0 &/(0 0) !%мебель::1000000

Как найти примеры подобной переколдовки, где влияние :0 будет заметно?

4. В варианте НПС проверялся просто термин "мебель", без эмуляции хитрой переколдовки. Результат все равно 149.

5. Подобрал особый термин "обратный" c весом 5050 (до смены алгоритма), который очень близок к 5046 для обычного термина "мебель". Для этого термина инструмент так же дает вес 149 - это кворум по текстам документов, ручную спецпереколдовку для него, естественно, не делал.

P.S. Что-то у Яндекса с кешем совсем весело стало. Глючная выдача сплошь и рядом, пробивать приходится жестоко.

Ок, спасибо. Значит, похоже, дело в мягкости.

Че сервис сдох?😮