SERP Parser - мониторинг позиций - 2

Снова всем привет ))

Запускаю серию тестов по работе с ядром среднего размера 5-10к, в процессе рассчитываю собрать от вас рекомендации и ознакомится с вашей практикой работы с данным программным продуктом.

ТЕСТ 1

Исходник: 8Мбит

Ping Yandex: 52 мс

Кол-во прокси серверов: 2500 с временем отклика менее 400

Кол-во позиций: 7626 (30% Google, 70% Yandex)

Кол-во потоков: 100

********а: да

Локальное подключение: нет

Задержка: по умолчанию

Несколько экземпляров в одном подключении: да

---- Результат ----

Кол-во капч: 4945

BAN: 4380

Время выполнения: 19:06

---- Коментарии ----

Завис на 6696 в состоянии распознавания капчи на 3:15, затем очухался и продолжил сбор. Итоговое время смотрите выше.

Alert_isi, спасибо за тест. 100 потоков достаточно много, какая у Вас система, опишите пожалуйста.

Большое спасибо за комментарий, думаю вполне уместно разместить еще и эти данные.

Win 7 x64

Intel Pentium G640 (2,80; 2,80)

8 Гб

Для сбора позиций в 100 потоков более чем хватает, работает достаточно шустро.

Alert_isi, если будете делать еще тесты, попробуйте пожалуйста с десятью потоками, интересно, какая будет разница в скорости.

А какие есть наработки и рекомендации по многопоточному режиму? Сколько вообще рекомендуется ставить?

Alert_isi, рекомендую ставить 5 потоков на 1 гиг памяти и одно ядро процессора.

ТЕСТ 2

Система: Win 7 x64, Intel Pentium G640 (2,80; 2,80), 8 Гб

Исходник: 8Мбит

Ping Yandex: 52 мс

Кол-во прокси серверов: 2500 с временем отклика менее 400

Кол-во позиций: 7626 (30% Google, 70% Yandex)

Кол-во потоков: 100

Распознавать капчу: да

Локальное подключение: да

Задержка: от 3000 до 6500 для всех ПС, таймаут 30с после 50 фраз.

Несколько экземпляров в одном подключении: нет

---- Результат ----

Кол-во капч: 2974

BAN: 593

Время выполнения: 12:34

---- Коментарии ----

Завис на 7155 на глухо в состоянии постановки задачи в очередь (в задаче написано "В очереди..."), время сбора позиций 11:19. Перезапустил!

Кол-во капч на текущий момент: 2800

BAN на текущий момент: 593

Лог ошибок выкладываю по ссылке: https://docs.google.com/file/d/0B_bKispJS9wHZGVTR1hZcGxxVDg/edit?usp=sharing

Alert_isi, спасибо, ошибки эти в новой сборке появились, сейчас правлю их. По поводу зависания - кончились прокси, или программа не откликалась и пришлось из диспетчера задач снимать?

Прокси были (тянет по ссылке постоянно обновляющийся список), не откликалась на "Отмена", при этом в диспетчере задач висела как корректно работающее приложение. Просто повисло несколько задач в самой программе, логи некоторых из них вам уже предоставил.

Сейчас запустил очень интересный тест без капчи, пока бежит очень бодро. Чуть позже выложу результат.

---------- Добавлено 24.06.2013 в 15:23 ----------

byterus, как будет готова новая сборка, пожалуйста сообщите. Проведу тест №2 повторно, т.к. он впринципе до ступора с ошибкой работал очень шустро.

Готово

http://serpparser.ru/forum/index.php/topic,90.0.html