Главная
Статьи
Форум
Реклама
Нажмите
/
для поиска
Поиск
Войти
Регистрация
Что делать, чтобы попасть в ответы Google Bard
И какую это может принести выгоду
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Maxweel
Рейтинг
36
Регистрация
01.02.2017
Топики
0
Комментарии
1
Статьи
0
BatchUniqueChecker - Массовая проверка уникальности URL между собой
2 мая 2021, 18:35
Загрузил в программу предельное количество URL - 10000.
Программа работала с 17.06 до 21.00. Сбор страниц занял 1 час 43 минуты.
При сравнении программа зависла в «Не отвечает» на 2 часа 20 минут, затем произошел отклик на 7762 странице. Затем произошла ошибка «Out of memory».
Не знаю с чем она связана, но наблюдаю её не первый раз. В ОЗУ было ещё свободно 10 ГБ.
Настройки программы:
5 потоков,
задержка - 1500 мс, длина шингла - 5,
алгоритм - сравнение полного контента страницы.
Характеристики ПК:
CPU - Intel i5 8600,
ОЗУ - 16 gb, 2400,
Накопитель - SSD 259 ГБ.