остается только радоваться, что нашелся-таки человек, знающий, что такое "база знаний",
знающий как сделать машину вывода по текстам
когда я слышу "база знаний" - я хватаюсь за пистолет
Так, ради интереса, примерчик бы работы
неплохо,
но основная проблема управления не решена:
----*
-----------*
------------------*
Г С1 С2 С2
либо
------*
-------------*
--------*
и где это может работать?
я остаюсь при своем мнении:
точность для темы = Р/В
где Р - количество релевантных
В - количество выданных системой
поэтому-то и берется несколько тестеров (асессоров).
Там, действительно, много забавного (в РОМИП, например, рассматривается "слабая релевантность", "сильная релевантность"), но, например, в TREC и РОМИП считается, что средние цифры соответствуют действительности.
отчего же.
Здесь точность = П/С,
где
П - количество правильно отнесенных к темам сообщений
(те которые были помечены релевантными в конкретных темах)
С - общее число сообщений, приписанных к какой-либо теме (то есть выданных системой).
Это определение, по-моему, macroaverage precision. Можно и microaverage precision - найти среднее по процентам каждой темы (если я не ошибся).
-----------------
Вы же, мне кажется, меряете точность соответствию некоторому "тематическому образу" кластера.
Это очень удобная позиция для разработчика.
Вопрос только в том, насколько этот тематический образ соответствует ожиданиям Ваших пользователей, которым все равно, как Вы там все вычисляете.
повторяю:
если есть некоторая тема, которая в Вашем случае задается
заголовком темы + фрагментом последнего сообщения.
То берем 3 (или больше) тестеров:
1) предъявляем им заголовок темы (без дополнительных пояснений)
2) они его читают
3) затем предъявляем им список сообщений
4) люди отщелкивают "релевантное/нерелевантное" как они это понимают
Мне кажется, что это определение:
- в духе TREC (традиционное)
- простое, прозрачное
- легко проверяемое
Далее, очевидно, можно считать точность по каждой теме и точность по потоку.
Мне как "читающему газеты" понятно.
Рекомендую Вам провести тестирование с вопросом "что вы ожидаете получить, когда принимаете решение нажать на ссылку" и "оправдались ли ваши ожидания" - только не среди разработчиков, а людей с улицы
Разве это мои проблемы как пользователя? Это - Ваши проблемы.
В частности, некоторые люди говорят, что надо выстраивать специальные подкластеры и т.п.
отчего же. Точность - она и в Африке точность:
заголовком темы + фрагментом последнего сообщения,
то элементарно подсчитать, сколько попавших туда сообщений соответствует ожиданиям пользователя.
Кроме того, что-то я совсем не понимаю - это ведь Вы употребили термин "очень хорошая точность".
а откуда у Вас такая уверенность, что Вы будете знать это исходное событие.
Да и когда оно начинается - почему это вдруг "теракт в Беслане", а не тот момент когда они только подъезжали?
-------
Кстати, сейчас потратил несколько минут на то, чтобы найти и покритиковать за второй пример (рядом был с первым) - вчера это называлось "Клинтон -> в генсеки ООН" - и там был явный мусор о выборах, так как мне казалось, что тема - о Клинтоне.
Но сегодня-то там и название темы другое - что-то о выборах Керри, где лежит и Клинтон со своим ООНством. Что же есть вообще схожего между этими линиями (США что ли? ). Хотелось бы понять - тут уже я даже как "читающий газеты" не могу понять - относительно чего (какой-такой первоначальной новости) все это чудо построилось. И как здесь считать "точность"?
это, конечно, отрадно слышать, но хотелось бы узнать, как эта "хорошая" точность определяется
Давайте рассмотрим 22 октября, тема (по итогам дня) называется "Из Беслана выдворили сайентологов" (34 сообщения).
Судя по всему разработчики, конечно, считают, что тема о Беслане.
Однако, выбирая в качестве заголовка темы ПОСЛЕДНЕЕ сообщение (перед этим висело "14 пострадавших от теракта в Беслане покинули столичные больницы" - 3 сообщения из 34 про 14 человек, про сайентологов-то вообще 1/34), авторы ресурса рождают у пользователя ожидание (психологическое), что тема более близка к заявленной, чем есть на самом деле.
Авторы ресурса перекладывают на пользователя обязанность делать выводы какая же на самом деле была основная тема.
То есть, что же такое ТОЧНОСТЬ в Novoteka.
А нельзя ли пояснить зачем называть ЭТО "семантической сетью" (кроме как в рекламных целях)?
Рекомендую почитать литературу по "репертуарным решеткам" и LSI (Latent Semantic Indexing).
Если у Вас серьезный интерес к проблеме - его надо переводить в офф-лайн. Можно поездить на специализированные конференции (например, RCDL, КИИ, которые скоро будут) и пообщаться - переписываться подробно слишком тяжело.
Никто так не утверждает. Просто все "немного" не так.
