Key Collector - автоматизированная система анализа семантического ядра. Часть 7.

А есть ли видеоурок по последней версии для составления семант. ядра?

еще пока нет, но можно в тикет систему в "предложения" сбросить списки вопросов, по которым в тонкостях мы составим видео-уроки

А сколько в среднем живут выделенные прокси при парсинге коллектором? Раньше пользовался общими но непубличными IP (было 150 штук) - часто выскакивала ошибка NetworkMethods.LoadPage. Пару недель назад сменил прокси - купил персональные выделенные 30 шт. Сначала все работало шикарно, но сейчас и они уже походу мертвы, хотя еще даже месяц не прошел после их оплаты - тоже постоянно появляется ошибка NetworkMethods.LoadPage. Причем их не убивал - специально сделал задержки по 8000-9000 мс., количество потоков - 10 шт. Щас надо собрать частотность по 300к запросов - это вообще аДЪ😡

и что делать, каждые 2 недели покупать выделенные прокси?

могу ориентироваться на свой опыт, глобателовские прокси - выкладывал инструкцию /ru/forum/comment/9695347 по экономии на покупке, собственно пол года вот-вот истекут, но прокси рабочие, они периодически по нескольку суток работают без перерыва, по 3-4 суток. Затем небольшой перерыв бывает.

Но с проблемами, что они дохнут, я не встречался еще ни разу. А речь о сроках в год как минимум.

а как кейколлектор обрабатывает потоки запросов? допустим есть 30 ip и на них выставлено 10 потоков с частотностью 3-4 сек. Я правильно понимаю, что он через каждые 3-4 сек. будет запрашивать следующие 10 ip адресов, и так по кругу, в результате с 1 ip адреса запросы будут посылаться 1 раз в 9-12 секунд? Или с 1 ip адреса запросы поступают через каждые 3-4 секунды?

и еще один важный момент - если какие-то прокси-адреса становятся недоступны (допустим половина), тогда то же самое количество потоков будет запрашиваться с оставшихся доступных адресов? или как?

p.s. мне в техподдержке хостера сказали, что по логам запросы между запросами составляли около 1 секунды (и поэтому получили бан), но я частотность меньше 3 секунд никогда не выставлял. сначала было 3500-4500, через неделю как начала появляться капча - поставил 8-9сек.

TheGent, при выполнении очередного запроса программа извлекает следующий по очереди прокси-сервер. Т.к. при 30 прокси, 10 потоках и таймаутах в 3 секунды каждый прокси в среднем будет использоваться раз в (30/10) * 3 = 9 секунд.

Если включена опция деактивации недоступных прокси на 360секунд, то деактивированные прокси будут пропускаться и нагрузка на остальные в это время возрастет.

MIND, мне служба поддержки сейчас прислала логи по одному из прокси адресов, который был забанен (см.ниже). Там средняя частотность между запросами - около 10-12 сек, но иногда проскакивают запросы с 1 сек. задержкой. Это могло быть причиной бана?

178.176.XX.XX - - [24/Apr/2012:14:39:58 +0000] "GET http://wordst

178.176.XX.XX - - [24/Apr/2012:14:40:08 +0000] "GET http://wordst

178.176.XX.XX - - [24/Apr/2012:14:40:20 +0000] "GET http://wordst

178.176.XX.XX - thegent [24/Apr/2012:14:40:20 +0000] "GET http://

178.176.XX.XX - thegent [24/Apr/2012:14:40:32 +0000] "GET http://

178.176.XX.XX - thegent [24/Apr/2012:14:40:44 +0000] "GET http://

TheGent, не думаю. Тем более, что средний показатель 10-12.

я думаю, что частные вопросы не в теме, а в саппорте лучше решать ;) на форуме это бесполезное дело, да и отвечать саппорту приходится и тут и там, что не есть хорошо (с точки зрения расходования времени)

Кто-то использует прокси от Глобател? У меня в последнии несколько дней постоянно выдает ошибку NetworkMethods.LoadPage и очень меленно собирается статистика. Сегодня зашел в панель управления, но не могу заказать еще сео-прокси. Они еще предоставляют такую услугу?