Главная
Статьи
Форум
Реклама
Нажмите
/
для поиска
Поиск
Войти
Регистрация
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Maxweel
Рейтинг
36
Регистрация
01.02.2017
Топики
0
Комментарии
1
Статьи
0
BatchUniqueChecker - Массовая проверка уникальности URL между собой
2 мая 2021, 18:35
Загрузил в программу предельное количество URL - 10000.
Программа работала с 17.06 до 21.00. Сбор страниц занял 1 час 43 минуты.
При сравнении программа зависла в «Не отвечает» на 2 часа 20 минут, затем произошел отклик на 7762 странице. Затем произошла ошибка «Out of memory».
Не знаю с чем она связана, но наблюдаю её не первый раз. В ОЗУ было ещё свободно 10 ГБ.
Настройки программы:
5 потоков,
задержка - 1500 мс, длина шингла - 5,
алгоритм - сравнение полного контента страницы.
Характеристики ПК:
CPU - Intel i5 8600,
ОЗУ - 16 gb, 2400,
Накопитель - SSD 259 ГБ.