Программа для пакетной проверки текстов на уникальность

12
thoth666
На сайте с 03.05.2008
Offline
38
1448

DuplOFF (Дуплофф или Duplicates OFF :)
Версия 0.33

Назначение программы: поиск и удаление/переименование (зависит от настроек) дубликатов текстов в заданной директории.

Формат обрабатываемых файлов: .txt

Кодировка: windows-1251

Программа корректно обрабатывает символы русского и латинского алфавита.

Одно из возможных применений программы: выборка уникальных статей из размноженных автоматом, для последующего обмена статьями.

Так же вы можете сравнить два или более текстов на предмет оценки степени рерайта. На самом деле, вариантов много, это только пара, навскидку.

Программа осуществляет сравнение текстов методом шинглов.

Перед подсчетом шинглов, из текста удаляются все небуквенные символы, а также слова, короче заданных в настройках.

Скачать можно бесплатно с сайта программы http://www.prgz.ru

Программа распространяется бесплатно, как есть, без ограничений.

Благодарность приветствуется, рекомендации и пожелания внимательно выслушиваются, если вам понравилась программа, попеарьте ее - буду признателен.

Мой первый тост - за Localhost!
ON
На сайте с 04.09.2008
Offline
78
#1

thoth666 - совсем недавно искал какраз такую прогу и выяснил что нет её в природе ....

Теперь есть - спасибо ... :)

Возможности основательно проверить работу пока нет ...

Пара вопросов=хотелок (поддерживается или хотябы планируется ??)

1. Обработка UTF-8

2. Обработка не только txt а любых файлов находящихся в директории (или если заморачиваться чтоб можно было указать нужные расширения)

3. Рекурсивная обработка - те чтобы программа обрабатывала все файлы в директории даже если файлы находятся в подпапках

4. Опция сохранить результат в папку

5. Дополнительная опция удалить файлы содержащие менее N символов

6. "Удалять слова короче N символов" - это для подбора шинглов для сравнения?? В этом случае надо переименовать в "Неучитывать слова короче N символов" а то слово "Удалить" звучит очень страшно ...

7. Опция Найти в текстах и заменить на (если будет с поддержкой regexp это будет просто сказка)

Чесно хотел написать меньше ... оно както само вылезло ... :D

Ещё раз спасибо за прогу... :)

thoth666
На сайте с 03.05.2008
Offline
38
#2
o_nix:
thoth666 - совсем недавно искал какраз такую прогу и выяснил что нет её в природе ....
Теперь есть - спасибо ... :)

Возможности основательно проверить работу пока нет ...

Пара вопросов=хотелок (поддерживается или хотябы планируется ??)

1. Обработка UTF-8
2. Обработка не только txt а любых файлов находящихся в директории (или если заморачиваться чтоб можно было указать нужные расширения)
3. Рекурсивная обработка - те чтобы программа обрабатывала все файлы в директории даже если файлы находятся в подпапках
4. Опция сохранить результат в папку
5. Дополнительная опция удалить файлы содержащие менее N символов
6. "Удалять слова короче N символов" - это для подбора шинглов для сравнения?? В этом случае надо переименовать в "Неучитывать слова короче N символов" а то слово "Удалить" звучит очень страшно ...
7. Опция Найти в текстах и заменить на (если будет с поддержкой regexp это будет просто сказка)

Чесно хотел написать меньше ... оно както само вылезло ... :D

Ещё раз спасибо за прогу... :)

1. реально, дел на пару строчек кода

2. в принципе можно подумать

3. запросто

4. в принципе можно подумать. я сейчас иду от обратого, то есть генеренные тексты можно скопировать в отдельную папку, там им устроить геноцид, а выживших из той папки уже использоватьдля размещения.

5. это мысль

6. разумеется, не учитывать :)

7. можно подумать, но смысл в этой фиче? прог, которые делают пакетную замену, много, есть и регексп, есть просто замена - на любой вкус :) я не представляю себе ситуацию, в которой это фишка была бы необходима тут.

всегда пожалуйста ))

thoth666 добавил 04.06.2009 в 21:18

o_nix:
Пара вопросов=хотелок

1. добавлена поддержка UTF-8

2. обработка вложенных директорий

3. улучшена скорость работы программы

ON
На сайте с 04.09.2008
Offline
78
#3

thoth666 - наконецтаки добрался до домашнего компа и проверил прогу версии 0.5 в действии ...

Всё работает :)

Один единственный ньюанс ...

При выборе директории приходится указывать не на директорию а на файл ...

либо вписать в поле какоето название файла иначе неоткроет ничего ...

может стоит сменить диалог с выбора файла на системный диалог "выбор директории"??

В остальном всё замечательно ... :) В лучших традициях Delphi - НИЧЕГО ЛИШНЕГО ... :)

Спасибо

thoth666
На сайте с 03.05.2008
Offline
38
#4

Программа обновлена. Свежая версия 0.75

Работать стала на порядок шустрее за счет смены алгоритма.

3000 файлов проверила меньше чем за минуту

Константинович
На сайте с 13.09.2008
Offline
319
#5

Попробовал скачать, а по ссылке там не качается, наверное, нет на сервере. Все остальные проги закачиваются, а эта нет :(

Нужны финансы? Быстрая скупка (http://dragmettorg.com/skupka_zolota/). Цены на сайте. А потом отыграй из на казино онлайн правила (http://premium-games.ru/)
aprok
На сайте с 27.11.2008
Offline
45
#6

спасиб ,хорошая прога =)

thoth666
На сайте с 03.05.2008
Offline
38
#7
Константинович:
Попробовал скачать, а по ссылке там не качается, наверное, нет на сервере. Все остальные проги закачиваются, а эта нет :(

сорри, я ступил. не проверил ссылку.

сейчас качается нормально.

[Удален]
#8

Спасибо большое за программу. Но хотелось бы в первую очередь хотя бы .doс и .html проверку реализовать, помимо .txt

thoth666
На сайте с 03.05.2008
Offline
38
#9
alegra:
Спасибо большое за программу. Но хотелось бы в первую очередь хотя бы .doс и .html проверку реализовать, помимо .txt

старался :)

html без проблем - с вырезанием всех тагов. в след. версии сделаю.

а вот с doc могут быть вопросы.

S1
На сайте с 27.03.2008
Offline
55
#10

Привет! супер! огромное спасибо! искал платные аналоги - тестил демки, всё было шлак! И вот случайно на твою наткнулся! Всё просто, но в тоже время сердито!

даю бесплатный совет по улучшению - делай программу платной :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий