SERP Parser - мониторинг позиций - 2

ТЕСТ 3

Проводился на старой сборке, по факту подвисания программы - перезагружал. При этом так или иначе выкладываю результат, не на предмет текущих проблем с зависаниями, а в качестве аналитики по настройкам программы для максимально быстрого сбора большого ядра.

Система: Win 7 x64, Intel Pentium G640 (2,80; 2,80), 8 Гб

Исходник: 8Мбит

Ping Yandex: 52 мс

Кол-во прокси серверов: 2500 с временем отклика менее 400

Кол-во позиций: 7626 (30% Google, 70% Yandex)

Кол-во потоков: 100

Распознавать капчу: да

Локальное подключение: да

Задержка: от 3000 до 6500 для всех ПС, таймаут 30с после 50 фраз.

Несколько экземпляров в одном подключении: нет

---- результат ----

Завис на 4771, текущее время работы 9:29. При этом в статусах задач стоит "Без подключения. Ожидает подключения...". На "отмена" не среагировал (ожидание 50мин). Снял задачу, перезапустил!

Коль-во капч: 0

BAN: 0

Время выполнения: 09:29

Снова завис на глухо проверив всего 29 запросов, время ожидания 8:59. Снял задачу и перезапустил.

Коль-во капч: 0

BAN: 0

Сумарное время выполнения 18:28

Снова зависла, практически сразу. Успела отработать только 1 запрос, время ожидания 2:52.

Коль-во капч: 0

BAN: 78 (поймал в первые 10 минут, затем повис как и прежде с фразой "без подключения", "Ожидает подключения..."). Возникло подозрение на таймауты сервера, изменил таймаут ответа на 1000, и таймаут ожидания на 2000. Перезапустил!

Сумарное время выполнения 21:20

Снова зависла, практически сразу. Успела отработать только 22 запроса, время ожидания 0:34.

Коль-во капч: 0

BAN: 16 (поймал в первые 10 минут, затем повис как и прежде с фразой "без подключения", "Ожидает подключения..."). В настройках подключения указал "проверять только порт". Перезапустил!

Сумарное время выполнения 21:54

Время выполнения 10:53, программа живет но распознает очень при очень медленно.Останавливаю тест.

На текущий момент:

Коль-во капч: 0

BAN: 6061

Сумарное время выполнения 32:13

Без капчи в принципе работает причем достаточно быстро, но нужны хорошие прокси. За не имением таковых сборка позиций превращается в ад!

Далее повторю ТЕСТ 2 с новой сборкой и настройками таймаутов отобранными в ТЕСТ 3. Результат выложу через пару дней.

Alert_isi, спасибо за тест, могу предположить что системе тяжело работать со 100 потоками, это относится и к процессору и к маршрутизатору, попробуйте работать в 10 потоков.

Пара вопросов по программе:

- можно ли запустить проверку позиций всех сайтов одновременно?

- есть поддержка нескольких рагионов для сайта?

- можно ли выгрузить результат проверки всех сайтов в один csv?

- какое количество параллельных потоков программа тянет стабильно?

yanus,

1. Проверку можно запустить для любого количества проектов, но последовательно.

2. Да.

3. В один, нет.

4. Зависит от системы, по умолчанию 10 потоков.

byterus, Ok. В ближайшее время запущу серию тестов с разным количеством потоков. Все подробности выложу.

У кого стоит IE 10? Проверьте, после последнего апдейта Яндекса, у вас программа верно снимает позиции? Точнее IE стал показывать не верные позиции, соответственно и программа. 🙅

SEO.Promouter, тестовую сборку пробовали?

http://serpparser.ru/forum/index.php/topic,90.0.html

в ней позиции должны верно сниматься.

Всё пробовал. До последнего апдейта, всё корректно определялось.

P.S. я тот, кто писал вам на email

---------- Добавлено 27.06.2013 в 02:11 ----------

Накидайте мне в ЛС нормальные платные аналоги... 😒

Стал вылазить косяк при съеме позиций в tut.by - пишет "неизвестная страница, попытка повторного запуска"!

Turon, Попробуйте так: когда возникнет ошибка, нажмите в блоке с ошибкой ссылку Открыть URL в браузере, откроется выдача?