Key Collector - автоматизированная система анализа семантического ядра. Часть 8.

Umbert0
На сайте с 22.01.2009
Offline
81
#251
MyOST:
у глобатела свои таймауты есть, их можно уточнить в их же саппорте, там сейчас прокси в 2 руки даются + к вордстату свои таймауты на стороне глобатела есть

вот что ответили

В последнее время сервис wordstat.yandex.ru блокирует доступ к своим службам при частых обращениях к нему.

Поэтому, мы решили временно ограничить полосу пропускания именно к wordstat.yandex.ru.

Просим Вас настраивать ваше программное обеспечение так, чтобы к данному сервису было не более 5 запросов в минуту с одного ip/прокси.
MyOST:
если объемы парсинга большие - прокси расходный материал

большие объемы это сколько? до 1000 запросов на 5 ip это большие объемы?

MyOST:
Используйте обязательно ускоритель, который есть в общих настройках Коллектора - наша база кэшированных запросов

использую

MyOST
На сайте с 22.01.2006
Offline
559
#252
Umbert0:
до 1000 запросов на 5 ip это большие объемы?

нет, нормально в целом, но таймауты я бы рекомендовал увеличить , от 7000

Блог (http://seom.info/) | Ты уже SEO профессионал? (http://www.key-collector.ru/) Развиваем семантику более 8 лет! ()
ahead
На сайте с 15.09.2007
Offline
103
#253

Что-то у меня не собирает статистику по Яндекс Директ, всё "нет данных" выдаёт. Это проблемы с Яндексом или есть какие-то ньюансы по парсингу Директа?

MyOST
На сайте с 22.01.2006
Offline
559
#254

ahead, если Вы используете последнюю версию и есть проблемы, то добро пожаловать в техническую поддержку http://www.key-collector.ru/user-support.php

Подробнее, о том как это сделать - http://www.key-collector.ru/news/support-how-to-use.php

Сегодня сделали обновление

Версия 2.6.62 (от 17.07.2012):

- обновлен механизм авторизации в Yandex.

B
На сайте с 02.11.2011
Offline
49
#255

Собираю объявления и остальную статистику по директу, около 10 запросов парсится норм, а далее вылетает капча по каждому запросу. Таймауты 15000-30000. При таком парсинге накладно обходится антигейт.

vandamme
На сайте с 30.11.2008
Offline
675
#256

чет прога ни в какую не хочет останавливать процесс сбора данных, только завершаю процес ctrl+alt+del в диспетчере

меня забанил вордстат, нашел 3 десятка прокси которые прошли проверку в кейколлекторе, но прога все равно выдает ошибки о том что водстат выдает баненую страницу как так?

ошибка при работе Yandex.Wordstat (Ваш запрос был переадресован на страницу блокировки): прокси (http://122.72.33.139/) удаляется из списка активных
B
На сайте с 02.11.2011
Offline
49
#257
vandamme:
чет прога ни в какую не хочет останавливать процесс сбора данных, только завершаю процес ctrl+alt+del в диспетчере


MyOST. Кстати с подобной проблемой хотел к Вам обратиться.

Суть в том что пока прога не найдет хоть какой-нить прокси для сбора, то процесс парсинга не остановить и придется закрывать через диспетчер.

vandamme
На сайте с 30.11.2008
Offline
675
#258

и еще одного не понял - как сейчас снимать стату?

покупал списки прокси hideme и другие - в результате они почти все неработающие, остаток быстро блокируется, снял 10-20 запросов и все :)

MIND
На сайте с 08.03.2007
Offline
238
#259

Благодарим за сообщение. Исправим.

---------- Добавлено 18.07.2012 в 00:19 ----------

vandamme:
и еще одного не понял - как сейчас снимать стату?
покупал списки прокси hideme и другие - в результате они почти все неработающие, остаток быстро блокируется, снял 10-20 запросов и все :)

Искать работающие списки, если хотите такой же отдачи как на видео. Рекомендовать ничего не можем, т.к. оно тут станет таким же как и hideme (речь идет о публичных списках).

Key Collector - автоматизированная система анализа семантического ядра (/ru/forum/863504)
[Удален]
#260
MyOST:
Вордстат защищается по полной

от они редиски - они предлагают в ручном режиме собирать запросы? :(

отдавали бы чистые данные - запросов к ним было бы меньше! :)

а ещё лучше по xml! ☝ 🤪

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий