CheckParams - массовая проверка параметров доменов и ссылок

bolyk, tosha420, habozhuk, jPak, спасибо за отзывы :)

Добавил проверку наличия сайта в web.archive.org и дату попадания туда, многие просили :)

Там еще часть времени заняло скачивание исходного списка урлов, перевод их в нужный формат, заливка результатов на файлообменник и т.д. :)

В поддержке работают отзывчивые и терпеливые люди.

Побольше бы таких.

Желаю удачи в развитии программы и удачных продаж.

Потестил программу, настраивается относительно просто, учитывая что все настройки в файлах, заточена на серверную работу, как я понял, все можно делать без интерфейса и успешно автоматизировать.

Ну и пожелание - мануал вложить в архив.

пообщался с автором

приятно иметь дело с грамотным человеком :)

Учитывая энтузиазм автора у проги может быть большое будущее

уже сейчас у софта очень радует скорость работы.

Программа просто чумовая. Приспособлена для работы на автомате, и все делает очень быстро. Моей квалификации пока не хватает, чтобы использовать все ее возможности, но это хороший повод учиться. Конечно, она не для любителей комфорта, интерфейс отсутствует начисто, но для дела очень пригодится.

sadakoff, falc, o_nix, Mike05, спасибо за отзывы :)

Программа серьёзно обновилась, некоторые из изменений:

* улучшена и дополнена документация

* улучшена стабильность и уменьшено кол-во возможных падений :)

* исправлена работа модуля проверки в Yahoo, ошибка появилась из-за изменения в работе сервисов Yahoo

* серьёзно переработана система логгирования, теперь в логах больше полезной информации, а уже имеющаяся информация стала более информативной :)

* исправлены ошибки при работе с прокси, когда прокси выдают свою HTML-страничку, вместо скачиваемой

* появились новые макросы, в т.ч. и макросы для форматирования времени, теперь автоматизировать некоторые вещи стало проще (например, автоматический выбор файлов в зависимости от текущих даты/времени)

* наконец-то программа научилась позволять свободно копировать свою статистику из окошка :))

Ну, и самое главное изменение произошло в модуле HTTP, появилось 2 новых набора настроек:

1) набор проверок, позволяющих оценить правильно ли скачана страница (докачалась ли до конца, "жив" ли сервер, не забанили ли прокси, код HTTP-ошибки и так далее) посредством как регулярных выражений, так и простого поиска нужных текстов в теле страницы.

2) набор регулярных выражений, с помощью которых можно выбирать нужные поля из страницы и помещать их в файл результатов. Например, <title> страницы, некоторые заголовки, код HTTP-ошибки, найдена или не найдена ваша ссылка и так далее.

Последние 2 набора настроек при правильном подходе позволяют с помощью одного только модуля HTTP эмулировать практически все остальные модули, делать новые проверки, которых еще не было в программе, парсить сайты и так далее :) Например, многие интересуются сбором <title> страниц, чтобы потом составить ссылки вида <a href="адрес">заголовок</a> - это теперь легко сделать прямо в программе :)

Скачать программу по-прежнему можно со страницы http://cp.pluxy.com/

Красивая аська софт классный только не понятно стукнул вам ...

что в папке examples ?

Немножко обновилась программа:

* основное нововведение - теперь можно писать свои модули прямо в конфиге. Для примера так сделаны модули проверки параметров в alexa.com и проверки барного яндекс-тиц. Т.е. практически для всех проверок можно самостоятельно написать модули к программе.

* появилась возможность указывать список прокси ("хорошие", "удалённые" и т.д.), в который попадут скачанные из интернета (или из файла) прокси, настройка позволяет использовать 2 программы "цепочкой" без повторной проверки прокси. Когда первая проверяет прокси, а вторая - параметры сайтов.

* появилось удалённое управление программой через браузер или через простейшие скрипты (примеры на curl+php в комплекте). Можно заливать новые ссылки прямо в ходе работы, заливать прокси в программу, смотреть статистику, запускать/останавливать и так далее. Теперь можно запустить программу на сервере и управлять ею с работы/из дома.

Появилось много менее значимых опций и фич. Например:

* возможность удаления субдомена www. у доменов при проверке whois и dns

* отключение автосохранения настроек

* очистка логов при старте

* расширенные логи проверки прокси (видны результаты проверки каждой прокси, включая время, затраченное на проверку)

* проверка обновлений программы

* статистика по траффику и использованию процессора

* детальные логи по движку проверки прокси (сколько прокси скачало, их тип, сколько из них оказалось новых и т.д.)

* защита от ддоса сайтов через прокси при многопоточном скачивании через модуль HTTP

По результатам тестирования исправлено очень много ошибок практически во всех модулях (проверка зеркал в гугле, проверка pr у длинных ссылок, дата в UTC в логах, проверки на забаненность в яндексе, исправлена проверка доменов .ua в whois и т.д.)

Так же по отзывам пользователей заметно переработана документация, теперь с программой немного проще разобраться новичкам.

Скачать программу по-прежнему можно по ссылке http://cp.pluxy.com/

Программа и все обновления всё еще бесплатные :)

Да не немножко она обновилась, а очень существенно. Юзаю уже больше 3 месяцев. Прога и была крутая, а теперь это целый "минизавод" по массовому получению любых данных от любых сайтов и служб в инете. Снимать их можно в 300-400+ потоков (если канал позволяет), параллельно она в сотню+ потоков в фоновом режиме чекает прокси (сама же их и собирая, и отдавая хорошие другим прогаммам по хттп). Можно настроить ее на получение сразу необходимых данных, если их легко вычленить из полученных страниц, а можно динамически обрабатывать ее выдачу своими скриптами. С появлением возможности управления прогой пост-запросами по хттп, она стала совсем универсальной, и можно добиться полной автоматизации. Делается скрипт на php (или кто на чем умеет), который дает ей исходные данные, забирает результаты, обрабаывает их, и по результатам вновь формирует задание и скармливает его чекпарамс, и такой цикл может быть непрерывным. От паука до ДДоса (в смысле нагрузочного тестирования сайтов) все можно делать. :)

В общем, инструмент поистине уникальный в умелых руках.

Прога ураган, в плане скорости работы. PR проверяется под тысяч 30-40 в минуту на средненьком канале без прокси, потом бан айпи :)