Анализатор документов

Кстати. Была интересная программа у МедиаЛингвы (мною со товарищи в 1997 и сделанная), которая выполняла "смысловое сжатие" текста и составляла аннотации текстов или выбирала самые важные термины.

Программа называлась Либретто. Я сам, когда ещё был совладельцем и гендиректором МЛ, придумал это название и зарегистрировал по всем компьютерным категориям. Потом, уже после моего ухода, МедиаЛингва всё же вытребовала с Тошибы 70 килобаксов за нарушение прав на имя (Тошиба стала ввозить и продавать Либретки, не имея права на товарный знак, который уже принадлежал МЛ) и название сняла. Но МЛ проект не только переименовала, а куда-то вообще задевала.

Не знаю, может быть, программа есть ещё где-то в сети в бесплатном виде (была и широко раздавалась одномесячная пробная версия). Нужно поискать Libretto вместе с MediaLingua, вдруг повезёт.

Есть на этом сайте вроде:

http://www.filelibrary.com

не так то просто найти было!

ребята - используйте для таких целей логические языки программирования

Вот небольшая статья на моем сайте

www.icreator.ru

[This message has been edited by Gray (edited 16-11-2001).]

Два замечания:

а) проблема машинной морфологии не имеет никакого отношения к используемым инструментам. Какая разница голодному, чем мазать масло на хлеб - ножом, ложкой или вилкой? Было бы масло. А намазать нужно ровно один раз. Притом, предлагаемый метод как раз подобен намазыванию масла сапогом.

Маслом же являются лингвистические данные.

б) в приведённой статье с самого начала сделано довольно грубое, но скрытое допущение. Там как единственный возможный путь предлагается создание БЕССЛОВАРНОЙ морфологии, а всё, что не ложится в эту схему, называется исключениями или дополнениями.

Основной принцип бессловарной морфологии - построение гипотез о словоизменении и основе слов по окончаниям и, очень редко, приставкам. Про приставки обычно декларируют лдя общности, но никто не делает - опять-таки нужно слишком много лингвистики.

На самом деле, большинство используемых в боевых сервисах машинных морфологий - словарные, то есть использующие словарь основ с морфинформацией при них.

И это не случайно - бессловарные морфологии дают много шума, и дают только довольно низкокачественную нормализацию, то есть определение основы.

Но не позволяют от косвенной формы слова перейти к другим косвенным формам, то есть восстановить ПАРАДИГМУ лексемы.

Ну и чередования в основе (писать-пишу) и супплетивизмы (быть/есть)бессловарной морфологии не под силу.

То есть, это дешёвое, наколеночное решение при отсутствиии ресурсов у разработчика. Использовать по бедности можно, но будет шум. "Бином" будет распознаваться, как творительный от несуществующего "бин", "кровать" опять же и так далее.

Повезло

Новое название ML Annotator

И скачать свободно можно с ftp.medialingva.ru

К сожалению с win2K word2K работать не хочет

А я скачать почему-то не могу, можно мне на мыло сбросить: kievua@europe.com

Похоже Page Analyzer больше не развивается, а жаль. Может уважаемый AiK предоставит сорцы этой программы, а то уж больно не хочется начинать писать такую прогу с нуля.

Где можно взять ML Annotator?

На ftp.medialingva.ru даже не пускают.