Proxy Gear Pro v1.0 - новый многопоточныйпрокси чекер (включает google и url габберы)

Мне понравилась ваша программа. Конечно, есть масса аналогов, но ваш вариант сделан достаточно симпатично и добротно.

В качестве идеи по развитию проекта хотел бы предложить добавить в программу режим авто работы.

Например, прописал ключевые фразы для парсинга Google и пусть программа дальше запускается циклически с определенным интервалом. При этом важно, чтобы переход между операциями не требовал ожидания подтверждения нажатия клавиш пользователем, а результаты сохранялись с определенной периодичностью на локальный диск и на удаленный ftp.

Ниже умозрительный вариант работы.

1. По предустановленным заранее ключевым словам пусть программа собирает прокси с паблик ресурсов. Допустим, после 5 минут сбора пусть останавливает сбор и переходит к проверке.

2. Пусть проверка всего, что собрано займет 30 минут.

3. Сохраняет результаты на локальный диск и ftp.

4. Возвращается к сбору прокси по ключевым словам с момента останова.

5. Опять проверяет порцию и сохраняет результаты на локальный диск и ftp. Желательно, чтобы перед сохранением проверила ранее сохраненные результаты на предмет все ли живы. Дохлые удалила, новые добавила.

...

когда продут все ключевые слова, можно через определенный интервал запустить сбор по тем же ключевикам по-новой из предположения, что могут появиться новые данные. Ранее проверенные дохлые прокси можно забить в однодневный блек лист, чтобы не собирать повторные данные.

Например, если какие-то адреса несколько дней подряд - дохлые, то переводить их автоматам в глобальный блек лист, чтобы не тратить время на перепроверки заранее неработоспособных адресов.

В общем идея работы выше состоит в том, чтобы держать актуальный список прокси и пополнять его в авторежиме.

Протестирую, отпишусь.

Вопрос: есть ли поддержка antigate? Если нет, то почему и могли бы вы добавить её в функционал программы.

Спасибо за очень дельные советы и приятный отзыв!))

Как раз проектирую автоматизацию, правда хочу сделать ее через встроенный скриптовый язык, дабы можно было сделать все что угодно, и как угодно :) Ну и естественно добавлю визуальный конструктор скриптов, дабы все было ближе к WYSIWYG))

Обязательно добавлю выгрузку по ftp и email (pop3, imap) и блек-листы. Правда тут уже встает вопрос с содержании целой базы данных :)

Правда версия 1.1, скорее всего, из нововведений – будет содержать только поддержку socks4/5. А к 1.5, надеюсь, автоматизация появится в подном объеме)

---------- Добавлено 10.02.2013 в 20:37 ----------

Пока что нету. Ибо ее нужно делать с нуля :)

Если честно, за день до релиза Google граббер имел всего одно поле ввода (под один запрос) и пару настроек :) Т.е. окна вывода капчи было вполне достаточно. И вот за день он "вырос" да полноценного мульти-граббера :) Антигейт просто не успел прикрутить :)

О, супер, как раз нечто легкое требовалось. Серверную версию бы с импортом xml, за подобное можно будет и денег заплатить. Хотя пока и этого хватит.

Автору спасибо )

Извините, но почему на virustotal показывает 3\46 ?

http://goo.gl/qmR5f

Вау уже 3)))) Сначала только DrWeb ругался (на проверку обновлений), а теперь еще и Symantec и TrendMicro (на получение IP-адреса). Хотя если посмотреть по описанию того, что они "поймали" – это чистый false-positive.

Вот тот-же архив на soft.mail.ru: http://soft.mail.ru/program/proxy-gear-pro/1.0

URL граббер второй раз зависает вот в таком положении:

Развитие программы остановилось?

Видимо да.... Сайт недоступен

Работа proxy-judges восстановлена, программа полностью функциональна!

Обновите программу до версии 1.1 через кнопку "Обновление" в программе, или по ссылке http://impuls.name/pgpro/pgpro-v1.1.zip