Поиск похожих документов - примитивный алгоритм

Рекомендую почитать http://company.yandex.ru/articles/antispam.xml - про определение дубликатов. Как я понимаю, вполне применимо, вопрос только в степени четкости.

Спасибо, изучил. Для начала то что надо.

Скажите пожалуйста, а есть ищи какие лобо методы/алгоритмы для определения схожести некоторых частей больших документов (без применения шилингов).

И ище, есть ли методы для не просто тупого сравнение кусков текста, а попыток выделить "логику/смысл/направление" самого текста для последующего анализа. Например путем использования :

баз синонимов

толковых словарей

приведения словоформ

других лингвистических баз данных

математики, описывающей данные

интересны как минимум названия методов и алгоритмой, дабы было от чего отталкиватся. Особо интересны направления, связанние с возможность построения обучаемой системы.

Очень надеюсь на ответы и огромное спасибо за специализированный сайт.

Посмотрите еще такой сайт http://shtampomer.narod.ru/

Программка статистического анализа авторских текстов и определения авторства. Я когда-то пытался ей пользоваться по прямому назначению, но у меня тексты слишком короткие были, программка не заработала. Мне кажется, нечеткие дубли она будет определять как одного автора.

Программку посмотрел

Вердикт неутешителен: вроде как все доступно вплоть до исходников, но алгоритм и определение того, что автор программы считает "штампом" не описан и не понятен к сожалению.

А если в общем, то неплохая тулзовина для сбора общей статистики по тексту.

Спасибо.

Посмотри прожку SearchInform

"Распределение Ципфа выражает некие фундаментальные свойства замкнутых связных текстов (такими обычно являются тексты, написанные одним автором, в едином стиле и т.д.), поскольку именно для таких текстов распределение частот слов (если частоты выстроены в порядке их убывания) близко к нему [6]. Таким образом, выполнение этого закона может выступать как критерий системности текста"

интересно, разрабатывал ли кто-нибудь это предположение..

вроде как может сгодиться для построения кластеров (дубликатов, или, например, стилистических, тематических..)

Не пойдет. Ципф-Мандельброт может сгодиться только как теоретическая основа. Вряд ли с его помощью можно отловить различных авторов. Да даже практически наверняка нельзя.

Шинглы достаточно просты а реализации. Можно также посмотреть SVM (Метод Опорных Векторов) http://svmlight.joachims.org/ (где то встречал статью, где описывается его применение к определению дубликатов, но думаю это не самый легкий вариант), а так же метод k-ближайших соседей (k-Nearest Neighbors, k-NN) (здесь например можно на русском посмотреть http://www.spc-consulting.ru/DMS/Machine%20Learning/MachineLearning/Overviews/KNearestNeighborsIntroductoryOverview%20.htm). Этот метод хорош тем, что при добавлении нового документа его не надо заново обучать на все выборке.

Есть еще куча всего. Но лучше все же воспользоваться шинглами - просто и эффективно. Только вот с выбором порога сходства замучаетесь. Но с другой стороны так во всех методах.

Сложные и навароченные тулы для сематического (по смыслу) сравнения документов с возможностью задавать степень proximity (похожести) интересуют?

Но за деньги... зато в виде SDK. Или готового солюшена. Даже демка есть.

Демку в студию

А на основе каких алгоритмов, построен инструмент?