Key Collector - автоматизированная система анализа семантического ядра. Часть 11

MyOST, Добрый день столкнулся с проблемой.

После захода в кей коллектор при открытии проекта выдаётся такая ошибка "Верификация лицензии не прошла" и далее "Возникла ошибка при проверке обновления: Удаленный сервер возвратил ошибку: (407) : Требуется проверка подлинности посредника"

В вашу тех поддержку писал, молчат.

Файл "SuportKC" не работает

Работаю через прокси сервера каждый месяц меняю (может в этом дело)

Прилагаю логи ошибки

Возникла ошибка при проверке обновлений: System.Net.WebException: Удаленный сервер возвратил ошибку: (407) Требуется проверка подлинности посредника.

в System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request)

в System.Net.WebClient.DownloadString(Uri address)

в System.Net.WebClient.DownloadString(String address)

в KeyCollectorWPF.MainWindow.???

??????(Object , Object )

в KeyCollectorWPF.MainWindow.???

??????(Object )

Заранее спасибо за помощь.

Olexey, 407 при запуске - это означает, что либо у Вас в самой системе в "Панель управления -Свойства обозревателя - Подключения - Дополнительно" указан неоплаченный прокси или неверно указаны данные авторизации, либо та же самая проблема настроек, но уже в КК в "Настройках - Сеть - Параметры системного доступа в сеть".

Буду рад, если в доработках программы учтете следующее пожелание:

добавьте у проксей колонку со счетчиком числа удачных запросов к числу удачных капч, чтобы можно было прокси чекать не только на бан, но и закапчеванность.

Я думаю это может пригодится тем, кто для парсинга юзает дешевые или бесплатные прокси.

Идея вот в чем

если у меня есть, например, 50 проксей, может оказаться так, что у 20 проксей капча появляется каждые 10 запросов (закапчеванность 1/10=10%), а у остальных 30 проксей капча появляется каждые 2 запроса (1/2=50%).

Если бы в КК был предлагаемый счетчик, то через пару десятков запросов, можно было бы увидеть прокси, которые проще отключить, чем тратиться на ********у (у которой по моим наблюдениям в последнее время проблемы с наличием свободных рук для распознавания русских капч).

Сейчас КК позволяет автоматом отключать прокси, если встретилась капча, но при таком подходе отключаются все прокси и сильно закапчеванные и хорошие.

Готов допустить, что я просто не обо всех возможностях КК знаю, и есть способ такой вот тонкой фильтрации проксей. Буду рад, если поделитесь. Спасибо.

Проверьте правильность флагов для русской капчи, а то сегодня антигей уже второй раз выдает:

Парсю только в КК.

orka13, проверили. Флаг точно отправляется при работе с поисковой выдачей Яндекса (КЕЙ, позиции, рел. страницы, соломоно, похожие поисковые фразы) и ХМЛ (капча от ХМЛ).

Ошибка при сборе статистики с директа: Yandex.Direct [для Yandex.Direct] (ошибка 2). Аккаунт вычеркнут из списка. Пробовал регать новый ак - таже фигня(

kioskanalya, напишите в тикеты - посмотрим, что у Вас там мешает. Спасибо.

Спасибо! Помогло

По прокси вопрос. Допустим, есть 100 прокси рабочих, работаем в 10 потоков. Как действует программа? Обращается к одним и тем же 10 прокси, пока их не забанят или идет перебором по всем 100? Если первое, то можно ли реализовать этот перебор?

smexoblog.ru, прокси в постоянной ротации (все 100). Исключение составляет только сбор систем, где нужна авторизация в аккаунте Яндекса. В этом случае нужно дополнительно включить ротацию в "Настройках - Парсинг - Яндекс.Директ".

Еще Адвордс работает не через прокси программы, а через тот, который прописан в настройках IE. Но тут они особо и не нужны, т.к. АПИ не банит.

Все остальное в постоянной ротации.