BatchUniqueChecker - Массовая проверка уникальности URL между собой

УРЛ же сравниваются между собой, поэтому один УРЛ сам по себе уникален 100%

хорошая программа

смените кодировку отчета вместо win-1251 на utf-8

Спасибо, но более программа не будет развиваться, так как будет перенесена в новую версию SiteAnalyzer.

Загрузил в программу предельное количество URL - 10000.

Программа работала с 17.06 до 21.00. Сбор страниц занял 1 час 43 минуты. 

При сравнении программа зависла в «Не отвечает» на 2 часа 20 минут, затем произошел отклик на 7762 странице. Затем произошла ошибка «Out of memory».

Не знаю с чем она связана, но наблюдаю её не первый раз. В ОЗУ было ещё свободно 10 ГБ.

Настройки программы:

• 5 потоков,
• задержка - 1500 мс, длина шингла - 5,
• алгоритм - сравнение полного контента страницы.

Характеристики ПК:

• CPU - Intel i5 8600,
• ОЗУ - 16 gb, 2400,
• Накопитель - SSD 259 ГБ.

Она 32-битная, видимо в этом проблема.

SiteAnalyzer 32 и 64 бит, думаю не будет в этим проблем.

Тоже загружал 10к урлов, программа зависла на ~7000 и не проверяла дальше на протяжении нескольких часов.

Ок, начал заново задачу, программа проверила все 10к урлов, но уникальность не выдала.

Подал 1500 урлов, только тогда отработала.

Сейчас подаю 5000 урлов, программа все проверила, но уже больше часа не определяет уникальность. В логе новых событий не появляется.

Версия 1.3 (build 21)

Что могу сказать - ждите новую версию SiteAnalyzer, скрейпер будет перенесен в нее + она под х32 и х64.

Представляем вашему вниманию новую версию бесплатной программы BatchUniqueChecker, предназначенной для массовой проверки уникальности контента нескольких страниц между собой по списку URL, карте сайта Sitemap или локальным HTML-файлам.

Что нового в версии 1.4:

• добавлена возможность проверки на уникальность локальных файлов форматов HTML и TXT
• в окне сравнения уникальности исходного URL с остальными добавлено отображение искомого URL
• добавлена возможность копирования списка страниц из окна похожих URL в буфер обмена
• увеличено максимально возможное количество импортируемых URL с 5000 до 10000
• в основное окно программы добавлена колонка Инфо для вызова контекстного меню

Страница скачивания (4 Мб): https://site-analyzer.ru/soft/batch-unique-checker/

А по какому алгоритму определяется уникальность?

По шинглам