Проверка текста по шинглам на уникальность

154

leo3331

30 октября 2009, 20:47

726

Знает кто какие проги,

чтобы массово могли проверить по шинглам на уникальность,

и дубликаты удалились...

К примеру в папке 10 файлов со статьями

Указал папку, указал % совпадений при катором удалять,

нажал на кнопку, и удалились те файлы,

в которых по шингам найдутся дубликаты статей.

70

Unabashed

30 октября 2009, 22:15

#1

Самописные, а примитивный алгоритм сравнения на нечеткие дубли шинглами описан даже в википедии.

82

seo4el

30 октября 2009, 22:21

#2

Возможно это вам подойдет.

Разработка сайтов / интернет магазинов / landing page (https://vk.com/evvastudio)