Key Collector — автоматизированная система анализа семантического ядра

Приложил проект к сообщению.

Здравствуйте! У меня такая проблемка: когда провожу съем позиций с яндекса использую прокси. Перед использованием программой проверяю работоспособность прокси, но при самом съеме позиций оказываеться, что не все они работаю или выдает ошибку. Можно ли сделать так чтобы в процессе работы если прокси выбивает ошибочную страницу или не работает, то ее выключать и использовать оставшиеся?

Эта программа будет работать под Ubuntu 10.10 64 бита?

нет.

Только под windows

Через wine тоже не удалось заставить работать без ошибок, т.к. не ставиться чарт.

Если умеете пользоваться виртуальными машинами, то работать будет. Пользуюсь именно так.

Записали в ТЗ :).

доброго дня!

появилась проблема в получении релевантных страниц с гугла

раньше этого не было. теперь страницы стали выводится в таком формате:

/url?url=http://sait.ru/slony.html&rct=j&sa=U&ei=-srSTP-8F82VswbVtMmKDA&ved=0CBUQFjAA&q=&usg=AFQjCNFyqhjOVgqrE_P1OId2Tf8ShYrJ_A

это крайне неудобно править. кто знает, подскажите пожалуйста в чём проблема?

с яндексом другая история. первые 24 запроса релевантных страниц проходит нормально

затем выдаётся бесконечная ошибка:

04.11.2010 17:11:12: на странице поиска Yandex встретилась капча. Начат процесс распознавания через сервис Antigate

04.11.2010 17:11:24: процесс распознавания капчи поиска Yandex в сервисе Antigate завершен

ТС возьмите на доработку.

Программка -кул.

Однако есть вопрос из разряда: "либо лыжит не едут либо я ......"

1) Жму на кнопку "Свой список фраз для анализа", добавляю туда 5 клучей (например, "кредит наличными в москве", "кредит наличными без поручитлелей" и т.д.)...

Парсинг происходит только по первой введенной фразе - дальше прога стопорит процесс, то есть НЕ ПЕРЕХОДИТ к парсингу следующей фразы.

2) Так же не понятно, работает ли ГЛУБИНА ПАРСИНГА? (и как она работает..)

Например, вводил "кредит в банке" с глубиной парсинга = 0 и ограничением по частоте запросов до 150, получил XXX результатов.

вводил ключ "кредит в банке" с глубиной парсинга = 2 и ограничением по частоте запросов до 150, получил те же XXX результатов.

А мне не понятно, чем отличаются: "Глубина парсинга" от "Парсить страниц". Разве это не одно и тоже? И ещё, если там страниц много, мне что их число сперва надо вручную подсчитывать. Почему нет возможности задать глубину без ограничения. Или "0" - это и значит без ограничения?

Парсить страниц - этот параметр отвечает за количество просмотренных программой страниц по конкретному запросу. Максимальная его величина в самом вордстате равна 50, минимальная - 1.

Глубина парсинга - после того как программа прошлась по указанному количеству страниц в параметре Парсить страниц по конкретному запросу и собрала все доступные ключи, она может начать использовать полученные на предыдущих шагах ключи в качестве новых запросов к вордстату (опять таки по каждому из них она будет просматривать указанное в параметре Парсить страниц число страниц). Количество проходов, которое будет совершать программа по отработанным данным и устанавливается в параметре Глубина парсинга. Если установлено значение 0, то программа не совершает дополнительных проходов по полученным результатам, если стоит 1 - совершает один проход (т.е. использует каждый имеющийся в таблице результат и просматривает по нему указанное кол-во страниц), 2 - 2 прохода, и т.д.

Хотелось бы понять, нормально ли такое поведение программы, в настройках программы: парсить страниц 50, добавлять с частотностью от:1 до:ххх значение по умолчанию, глубина парсинга 1, в настройках региона: Москва и область, Калуга и область. Программа быстро собирает допустим 370 ключей, видимо первый проход, потом немного думает, увеличивает количество ключей до 398 и минут 15 ничего не меняется, больше не пробовал ждать, в журнале запись "процесс парсинга общей статистики для фразы "хххххххх" начат" и всё, ничего не происходит, что делаю не так?:)

З.Ы. при значении глубины парсинга-0, собирает 370 ключей и всё корректно завершается.