Алгоритм поиска дублей статей

это доказывает только, что у нас разные расчеты

Хых, от фонаря ввел два только что придуманных текста:

1. В пионерском лагере мы делали зарядку а после завтрака у нас было построение на пионерскую линейку

2. В нашем пионерском лагере проводились пионерские линейки, а по утрам нас выводили на утреннюю зарядку

Результат: "Тексты разные. Сходства нет. Рерайтинг очень хороший!"

Честно говоря, результат у меня вызывает сомнения... Врядли от перестановки местами слов текст будет считаться уникальным. (замечу, что мое мнение голословно, специальных экспериментов я не проводил, но сам работаю только с уникальными текстами написанными с нуля руками)

A_Liss,

Схожесть: 20.00%

А где это посмотреть можно? Чет не увидел где схожесть в %-ах определяется

Это я посчитал, там схожесть 0.

А, понятно :)

Пасиб

По большому счету тексты отличаются один от другого составом слов и их расположением. Если считать, что положение слов в тексте не влияет на уникальность, то это будет другая концепция, отличная от концепции, основанной на шинглах. Конечное решение какой концепции доверять - дело каждого.

Т.е., у Вас такой "подход" к этой проблеме?😆

Продолжайте в том духе.;)

Добавил еще один показатель сходства текстов на основе расстояния Левенштейна - попарное сравнение и пакетное сравнение

Хорошая идея! Даже если поисковики используют другие технологии, эта должна давать неплохое ориентировочное ощущение качества рерайта.

А вы в расстоянии Левенштейна за единицу изменяемой величины используете букву или слово? Потому что при сравнении полного текста, при учете возможной синонимизации логичнее было бы использовать слово в качестве неделимого элемента.