Key Collector - автоматизированная система анализа семантического ядра. Часть 12

Сделал тестовый проект на 50000 фраз. Взял 200 живых прокси, проверил в ПС Яндекс на внутреннем чекере самого коллектора. Запускаю в 120 потоков сбор KEI Яндекс - пишет осталось 20 часов. А когда парсишь на одном основном IP то пишет осталось 4 дня. Почему потоков в 120 раз больше, а скорость тоглько в 4?

оплата единоразовая

да

прокси могут быть медленными, половина умрет на стадии парсинга... И в целом увеличение потоков не дает кратного увеличения скорости.

Плюс, учитываем примерное время выполнения, программа не выдает четких сроков, т.к. это не реально (скорость, работа сервисов, ********а...)

Прокси тестировал выборочно вручную. Выдача прекрасно открывается, ведь чтобы ее прогрузить не надо особой скорости? Прокси у меня убиваются при недоступности или ошибках. И в настройках сети видно же сколько живых. Их больше 120 всегда. Ну если чисто по результатам смотреть, во вкладке статистика, за минуту в 1 поток парсится 13 результатов. Если использовать 120 потоков через прокси, то парсится 83 результата. То есть всего в 6 раз быстрее, при активных 120 потоках и стандартных задержках. В сетевом мониторе все потоки активны.

Поэтому все таки не понятно с чем это связано? Может влияет настройка "максимального количества потоков для подгрузки доп. содержимого" или "извлечения побочной статистики" или еще что-то?

Еще разъясните пожалуйста как рассчитывается коэффициент капчи для прокси, нигде не написано в документации.

Всем доброго подскажите по проблеме: аккаунты все для Директа выдают ошибку, аки рабочие, вручную проверял выборочно. Вбиваю как положено логин:пароль, но все выдают ошибку. В чем может быть причина::

скрин прилагаю:

ОЧЕНЬ не хватает возможности вернуться к тому же месту просмотра на котором остановился и применил фильтр. Потом фильтр отменил, а там фразы уже идут сначала, а не с того места где применил фильтр.

А еще было бы полезно сделать у быстрого фильтра дополнительную кнопку позволяющую найти кроме указанной фразы и неявные дубли.

Добрый день всем.

Сегодня сбор данных шел нормально. Но примерно в 13:18 стало выскакивать сообщение

"при загрузке страницы Yandex.Wordstat возникла ошибка. Выполняем повторную (1) попытку загрузить информацию".

Сбор данных WS теперь не идет.

Помогите, пжл, советом. Спасибо.

Присоединяюсь, приблизительно в 13:50 перестал производить сбор.

Присоединяюсь. Время примерно то же.

Аналогично.

Если кто то использует прокси от globatel то обновите прокси, изменились IP