Пакетное сравнение текстов на сходство

Добавил еще один показатель сходства текстов на основе расстояния Левенштейна - попарное сравнение и пакетное сравнение

вышла новая версия 3.1.0

Новое:

1. Теперь вместо сходства используется уникальность

2.Теперь после сравнения статей между собой на уникальность, для каждой статьи расчитывается среднее значение уникальности. Затем эти статьи выводятся в порядке убывания уникальности. (количество вывода и критический порог уникальности можно регулировать).

Это можно использовать для отбора наиболее уникальных статей из массы

Приглашаю потестировать новый подход. Жду Ваших замечаний

Тут продставлены 2-е программы для сравнения текстов. Чем ваша программа лучше их?

да фигню написал...удалил

Есть отличии:

1. Сравниваются сразу множество текстов

2. Используется нормализация.

3. Используется расстояние Левенштейна

4. Программа позволяет выбрать самые уникальные статьи из массы текстов

5. Нет рекламы у платной версии

У меня есть сервис и для попарного сравнения

Это очень здорово, таких прог еще не было, будем тестить, я сравниваю и размещаю тысячами, сравнение двух текстов между собой мне вообще никогда не было нужно.

а что такое нормализация? И есть ли декстопный вариант или скрипт, который собирает сам статьи и {end} ставит то?

Нормализация - это нахождение начальной формы слова. По поводу "собирает сам статьи" - уточните, пожайлуста. расставить {end} автоматом можно макросом в ворде например, или чем вы там статьи генератором статей

1. На сайте цена стоит 25 wmz, а не 10. Какому ценнику верить? Хотелось бы первому :)

2. Можно подробнее про нормализацию?

3. Правильно ли я понимаю принцип работы программы?

Имеем, например, 3 статьи (1, 2 и 3). Загружаем в скрипт и он сравнивает статью1 со статьей2, статью1 со статьей3, статью2 со статьей 3 и выбирает среди них наиболее разные? Соответственно, если статей будет 1000, то таким же образом он будет сравнивать всю 1000? На сколько долгий этот процесс?

update: WSGU, если можно, свяжитесь со мной через icq: 216618

1. 25

2. Например домами -> дом, идем-> идти

3. Все оказалось проблематичнее. Чтобы выявить из группы текстов самые уникальные надо сравнить каждую статью относительно другой. Если 3 статьи, то определяем схожесть второй и третей относительно первой; 1 и 3 относительно второй; 1 и 2 относительно третьей. Потом нужно для каждой статьи найти средний показатель уникальности. Сейчас тестирую скорость и оптимизирую алгоритмы. Результаты скоро сообщу. Хотелось бы услышать сколько времени бы (по максимуму) согласны уделять, чтобы выбрать из 1000 например 10 самых уникальных статей?