Посоветуйте технологию

Здравствуйте.

Я - переводчик, занимаюсь этим уже много лет и накопил уже достаточно большую базу т.н. "параллельных" текстов. В работе использую т.н. "память перевода" (Translation Memory - TM) (для тех, кто знаком - Trados и Promt) Память перевода - вещь хорошая, но хочется уже чего-то большего, некоторое время назад я стал задумываться о возможности нечёткого словарного поиска по своим базам.

Попробую описать, чего я приблизительно хочу.

Например, имеется довольно большой документ (500-600 листов). Если это технический текст, то он изобилует повторами, TM помогает, конечно, но хотелось бы иметь средство, которое бы:

1. Разбивало текст по параграфам / предложениям и заносило бы их в базу данных.

2. Выискивало бы по тексту совпадающие отрывки и составляло бы ранжированный список по количеству вхождений, начиная с наиболее часто повторяющихся фраз/предложений. Причём не только точно совпадающих, но и с учётом морфологии и изменения порядка слов в предолжении. (Например "John walks in the room" и "The president walked in the room" должны быть "похожими" фразами, а, например, фразы "Press OK button to continue" и "Press CONFIRM button to continue" должны расцениваться алгоритмом, как практически идентичные).

В поисковых алгоритмах я, к сожалению, не разбираюсь вообще, читал про расстояние Левенштейна, даже реализовал его (использовал, правда, в качестве базовой единицы не буквы, а слова), но дальше дело не пошло - не хватает теоретических знаний.

3. Собственно, поскольку ещё сам руковожу небольшим бюро переводов, данный алгоритм нужен ещё и для оценки количества повторений (по нечётким критериям) в тексте, чтобы не платить по 500 раз за перевод одной и той же фразы.

Хочу спросить, существуют ли какие-либо технологии/продукты или алгоритмы, предназначенные (или приспособляемые) для моих нужд?