Key Collector - автоматизированная система анализа семантического ядра. Часть 13

Здравствуйте. Уважаемые мастера помогите пожалуйста разобрать с key collectorom.

Я пропарсил слова с яндекса, гугла. Взял поисковые подсказки и у меня получилось около 4000 запросов. Тут вопросов как бы нет. Но когда я взял бпзу букварикс я набрал 350000 запросов! Предварительно отминусовал более 40000 запросов (изначально было почти 400000)

Вообщем загрузил я этот объём к уже имеющейся базе и начал парсить общую частотность... и офигел. Даже с 10ю прокси серверами (платными) и 10ю купленными аккаунтами, программа парсит примерно за 2 сек, один ключ. Короче я подсчитал что прога мне пропарсит это всё это дело примерно за 9 дней!!!

Ребят как вообще реально можно пропарсить всё дело в более меньшие сроки??

100 аккаунтов, 50 потоков, 100 прокси - отпарсит быстро, сегодня парсил чуть больше 100к.

ну массовые аккаунты их же не тысячи нужны, с несколько десятков вполне хватит, посильно и регнуть, долго не банятся. 100 за глаза, ибо на 300-400 уже плохо дело с железом периодически, по нагрузкам и сеть.

за настройками в тикеты, все от настроек же зависит напрямую.

P.S. надеюсь частотность через директ снимаете?

ок, спасибо. 100 прокси??? Это ведь 5500 тыс. руб. выходит за неделю аренды. Вы с такими суммами работаете?

По поводу потоков, куда выставлять? Есть выбор потока в Yandex.WordStat, есть в Yandex.Direct, а есть во вкладке "Сеть".

Я верно понял, при таких параметрах прям такую цифру 50 и выстовлять, правильно?

---------- Добавлено 18.07.2016 в 18:29 ----------

Здравствуйте! Спасибо за ответ, не ожидал даже что так быстро :)

Частотность снимаю общую, через лупу, это не правильно?

Директ не может выставить показание если ключ превышает более 7ми слов. Я так понимаю это лупой как раз и исправляется, но её минус в том, что она медленнее частотность снимает.

А у меня как раз количество ключей из базы букварикса, превышает эти самые 7 слов.

это медленно. Для [] конечно более правильно снимать через лупу,а в остальном 4й способ http://www.key-collector.ru/news/wordstat-direct2.php

http://www.key-collector.ru/easystart.php и вот с этим ознакомиться

Да, если 7+ слов - шагать в вордстат напрямую. Это дольше значительно, в раз 10.

Спасибо за помощь.

Добрый день.

При парсинге KIE Google, при использовании 10 прокси, на каждый запрос требует капчу, в чем может быть проблема?

filatd, дело в парсинге поисковой выдаче, это наиболее капчезатратная часть. Карма прокси, глубина поиска, общее кол-во запросов.....

Доброй ночи. Я отфильтровал все запросы в которых не более 7 слов, как оказалось это примерно 90%, радует. Я думал, что таких запросов много меньше.

Появилась другая проблема, у меня туева туча капчей. При попытки отпарсить через Yandex.Direct за не большой промежуток временить у меня образовалось 89 капчей.

Связано ли это с "задержкой между запросами" в 3000 - 5000 мс? В рекомендациях указано 20000 - 25000 мс :)

До этого проблем не было. Я так понимаю, у меня 10 прокси серверов и поэтому мне можно выставить 10 потоков во вкладке "Парсинг" -- "Yandex.Direct" верно?

А что тогда лучше использовать для ускорения сбора поисковой выдачи - больше прокси?

Если работать без прокси, то капчу вообще не требует, как только использую прокси, на каждый запрос требует капчу.