Key Collector - автоматизированная система анализа семантического ядра. Часть 13

http://www.key-collector.ru/news/support-how-to-use.php

да без проблем

рассмотрим

смысл бояться капчи? 30 тысяч частоток через директ - это что-то на 20-30 минут максимум при нормальных таймаутах. Капча стоит копейки и ее бояться смысла нет.

разницы нет, это же прокси-сервера настройка, просто порт

Вкладка яндекс директ, в настройках, там сразу логины и пароли для аккаунтов и прокси вводятся в строке.

не все так примитивно. Капчи может и совсем не быть и на первый же запрос появиться. Тут зависит от кармы и проксей, и аккаунта. Разумеется, чем чаще происходит насилие, тем больше вероятность.

для парсинга через директ, да, именно там и настраивается кол-во потоков.

Насчет того, чтобы собрать через Директ за год уже думал, но требуется собрать очень большой объем данных. Для такого, чтобы было быстрее нужно использовать прокси, а на сайте КейКоллектора советуют не собирать через прокси в режиме ЯД.

Может есть все-таки способ собирать через ЯД с использованием прокси?

---------- Добавлено 09.05.2017 в 01:42 ----------

MyOST, спасибо за ответы!

Ну так скажем, ЯД собирается пакетно и быстро (запросов по 25 раз в 2-3 секунды), не факт, что прокси будет собирать быстрее (в разумных пределах).

Подскажите, что значит "Процесс сбора правой колонки ЯВ был завершен не полностью. Фраза вновь поставлена в очередь на обработку".

У меня такое предупреждение очень часто появляется. Почему, можно и нужно ли это исправлять?

---------- Добавлено 09.05.2017 в 12:30 ----------

А использовать прокси для ЯД можно? Или же слишком высокая вероятность получить бан аккаунтов, как пишут на сайте КК?

Также не получается спарсить поисковые подсказки с помощью функции "Пакетный сбор поисковых подсказок".

Пробую парсить в 60 потоков, настроено 60 прокси, для каждого аккаунта в настройках ЯД свой аккаунт.

КК пишет ошибку прокси-сервер вернул ошибку авторизации 407....

А затем, что при загрузке страницы Search suggestions возникла ошибка....

Читал в справке, что 407 ошибка означает проблемы с проксями, однако минуту назад парсил частотность с помощью этих же прокси и все было норм, а вот с подсказками никак не получается. В чем может быть проблема?

Помогите решить, пожалуйста, поддержка молчит.

zurk798, я думаю техподдержка уже ответила на данный вопрос. А кратко, да. 407 - ошибка авторизации на прокси-сервере.

MyOST, после сегодняшнего утреннего обновления Аваст ПРО начал ругаться на файл ехе при запуске. Не дает запуститься. Это единичный случай или же стоит подождать следующего обновления?

[ATTACH]162951[/ATTACH]

tehno-music, версии баз последние? КК 32 или 64 бита?

https://virustotal.com молчит по авасту

КК 64 бита.

Базы самые последние. До сегодняшнего обновления все было отлично. Если отключаю аваст при запуске - все Ок проходит.

Когда программа уже запущена и аваст снова включается через 10 минут - работа далее ведется стандартно и без косяков.

Проблема именно только при запуске...

MyOST, техподдержка ответила. Как оказало дело было в пароле.

Для тех кто будет сталкиваться проблемой 407 ошибки прокси-сервера, есть совет: внимательно проверяйте правильность логина и пароля, а также воспользуйтесь советом тех.поддержки, чтобы проверить работает ли прокси:

А у меня возник другой вопрос по скорости работы КК. Он начал собирать частотность Вордстата слишком медленно. Собираю через проверку по Вордстату, а не по Директу, т.к. у меня сбор в 60 потоков с помощью прокси, а на сайте КК указано, что собирать по Директу с помощью прокси крайне не рекомендуется.

Настройки следующие: 60 акков Яндекса, к каждому привязан один уникальный прокси, сбор статистики в 60 потоков, задержки между запросами поставил 4000 - 7000. Вычислял это время опытным путем, перебирая разные значения. При 4000 была максимальная скорость - более 900 ключей в минуту. Сейчас скорость упала до 145 запросов при тех же настройках и начали появляться ошибки в журнале. Скрин ошибки прилагаю.

Подскажите, из-за чего так упала скорость и можно ли это исправить? Может нужно как-то перераспределить аккаунты Яндекса и прокси?

Кто-нибудь пробовал собирать статистику с помощью Директа в многопоточном режиме?