Пакетное сравнение текстов на сходство

WSGURerayter - отбор самых уникальных статей

WSGURerayter предназначен для анализа массы текстов и отбора из них с самым уникальным содержимым.

Для работы с программой необходимо:

• Поместить в каталог с исходными статьями файлы с расширением .html. В каждом файле должна находиться одна статья.

• Указать каталог, куда будут перемещены отобранные статьи

• В поле «Отобрать из общей массы» ввести количество отбираемых статей с самым уникальным содержимым.

• Поле «использовать максимум слов» необходимо заполнить целым положительным числом не менее 10 с учетом стоп слов.

• Качественный, но более медленный анализ – время анализа увеличивается примерно в 2 раза, но используются более точные алгоритмы.

• Файл stopwords.txt содержит стоп слова, которые не учитываются при анализе.

Для ускорения работы алгоритмов, программа работает только с русскими словами. По индивидуальному запросу возможно подключение и английских слов.

10 статей по 4 кб. анализирует за 2 секунды.

100 статей по 4 кб. анализирует за 3 мин 39 секунды.

1000 статей по 25 слов за 38 мин

Скачать демоверсию можно тут http://www.wsgu.ru/faylyi/files.download-2.html

купить тут http://www.snips.ru/tovar2021.html

Да, полезная функция, я сам не успел сделать, хотя мысль была. Одна мелочь смущает - я всегда думал что рерайтер - это Rewriter :)

теперь Rewriter. Для тех, кто уже скачал - вышла версия 1.0.1 - исправлены найденные баги

WSGU, куда платить? или есть тестовый за отзыв тоже? Напишу как лингвист :)

Сравнил два английских рерайта на 50% отличающийся друг от друга, выдал

1 место. Статья №1 со средней уникальностью 50.684931506849% и минимальной уникальностью 50.684931506849% Высокая вероятность склеивания

2 место. Статья №2 со средней уникальностью 50.684931506849% и минимальной уникальностью 50.684931506849% Высокая вероятность склеивания

Странновато.

gasyoun, чем вы проверяли on-line сервисом или WSGURerayter ом?

В WSGURerayter английский отключен для того, что бы ускорить работу, но могу подключить по запросу. Если Вы не используете английские тексты, то лучше не подключать, так как скорость работы понижается. платить тут цена $10. Если у вас репутация больше 10000 и вы хотите оставить отзыв, то скидка 30%. Платите на Z266001017484 $7 с указанием за что, свой e-mail и свой логин на серче. Также если вы закачивали вчера прогу до 18-00, то закачайте новую версию, там были исправлены некоторые баги.

Программа хорошая, но есть одно но, можно сделать что б что б импортировать статьи для сравнения через txt (каждая статья отдельная строчка) т.к. например 100 статей, каждую в html формат добавлять трудно, и экспортировала тоже в txt. Так как это действительно будет удобно. И возле каждой статье % уникальности стоял или что-то в этом духе

Столкнулся с такой же проблемой :) Через Total Commander можно быстро поменять расширения. Выделяете все файлы, правой кнопкой, переименовать, и ставите маску "*.html" (без кавычек), после проверки делаете тоже самое, только уже в .txt (если нужно, конечно)

Спасибо совет хороший но всё равно лично для меня не подходит, т.к. сгенерировал статей каждая статья отдельная строчка в одном файле пусть 100, потом каждую статью в отдельный файл, после проверки опять отдельными файлами что б каждая строчка – статья для сабмиттера. Слишком много движений всё равно...

AntonioM, просто создавал по желаниям трудящихся, большенство говорило, что при генерации получают на выходе множество файлов, где в каждом файле одна статья. Ваши пожелания постараюсь реализовать в следующей версии.

+100 баллов!очень пригодилась эта прога!

WSGU, с ДНЕМ РОЖДЕНИЯ!!!!