Key Collector - автоматизированная система анализа семантического ядра. Часть 10

mr-Lex
На сайте с 10.04.2008
Offline
119
#911

MIND, т.е. чтоб больше парсилось надо добавить несколько ip и несколько логинов? А сколько потоков ставить?

MIND
На сайте с 08.03.2007
Offline
238
#912

mr-Lex, вообще-то речь шла совершенно не об этом, а о том, что один адрес может попасть под санкции за 5 минут, а другой - только через неделю.

Но вообще да. Если добавить прокси и аккаунтов, то удельная нагрузка уменьшится. Кол-во потоков от 1 до 15. Аккаунтов сильно много не нужно. От 1 до 30.

Key Collector - автоматизированная система анализа семантического ядра (/ru/forum/863504)
G.Vad!k
На сайте с 04.10.2007
Offline
74
#913

При парсинге вордстата программа бывает зацикливается. Код в журнале:

15.10.2013 21:36:55: капча еще не распознана. Выполняется повторный запрос результата

15.10.2013 21:37:00: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:37:05: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:37:10: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:37:15: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:37:20: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:37:25: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:37:30: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:37:36: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:37:41: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:37:46: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:37:51: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:37:56: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:38:01: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:38:06: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:38:11: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:38:16: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:38:21: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:38:27: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:38:32: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:38:37: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:38:42: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:38:47: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:38:52: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:38:57: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:39:02: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:39:07: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:39:12: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:39:17: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:39:23: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:39:28: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:39:33: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:39:38: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:39:43: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:39:48: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:39:53: капча еще не распознана. Выполняется повторный запрос результата
15.10.2013 21:39:58: капча еще не распознана. Выполняется повторный запрос результата

И программа так и висит без подвижек. Обидно бывает на ночь поставить, а на утро из-за этого ничего не спарсено. Прокси покупные (по логину и паролю), CaptchaBot используется.

Выйти из проблемы помогает функция "Приостановка процессов". И потом возобновление. Единственное непонятно, почему процесс продолжается со следующего ключевого слова, а не на котором был остановлен процесс...

MIND
На сайте с 08.03.2007
Offline
238
#914

G.Vad!k,

1. по вопросам лучше писать в тех. поддержку

2. судя по логу, проблема лишь в том, что за назначенную цену никто не распознает Вашу капчу. Возможно, имеет смысл попробовать антигейт.

В любом случае, лучше писать в тех. поддержку. Спасибо.

LebedevStr
На сайте с 17.08.2011
Offline
140
#915
MIND:
Учтем в обновлениях для Яндекса (для Google можно уже сейчас конфигурировать строку запроса).

Огромное спасибо!

Вот это подход к клиентам :) Очень радует.

А где ее можно будет найти? Настройках парсинга?

MIND
На сайте с 08.03.2007
Offline
238
#916

Версия 2.8.3.70 (от 16.10.2013):

- выбор домена ПС Яндекс перенесен из окна настроек в панель выбора региона в статусбар (нижняя панель программы);

- настройка домена ПС Яндекс сохраняется в проекте;

- добавлена возможность конфигурирования строки запроса к ПС Яндекс параметрами;

- URL проектов, регион, тип ПС, тип ТОП для ссылочных аггрегаторов сохраняются в проекте;

- мелкие дополнения.

Стоимость лицензии составляет 1500 руб. на один компьютер.

Подробней о покупке программы вы можете узнать по ссылке: http://www.key-collector.ru/buy.php

B
На сайте с 02.11.2011
Offline
49
#917

Сделайте пожалуйста, чтобы лог не прыгал. При парсинге он выдает кучу инфы, но посмотреть то, что было выше, просто нереально. На данный момент есть 2 варианта, чтобы его глянуть: 1. это скопировать лог и вставить в блокнот, чтобы спокойно прочитать. 2. это остановить парсинг. не есть гуд.

MIND
На сайте с 08.03.2007
Offline
238
#918

bilibian, учтем, спасибо.

LebedevStr
На сайте с 17.08.2011
Offline
140
#919
MIND:
Версия 2.8.3.70 (от 16.10.2013):

- добавлена возможность конфигурирования строки запроса к ПС Яндекс параметрами;

А подскажите где отыскать эту фичу?

Для Google вижу...

MIND
На сайте с 08.03.2007
Offline
238
#920

LebedevStr, ну так для Яндекса такая же в панели настроек региональности для Яндекса.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий