CheckParams - массовая проверка параметров доменов и ссылок

M
На сайте с 09.02.2008
Offline
68
mlu
59479

Здравствуйте.

Предлагаю вашему вниманию софт под Windows для массовой проверки (с использованием прокси) ссылок и доменов на различные параметры, такие как: Google PR, Яндекс.тИЦ, Индексация в поисковых системах, Alexa Rank, Whois-запросы, DNS и т.д.

Целевая аудитория программы: люди, в промышленных масштабах закупающие ссылки, домейнеры, оптимизаторы, дорвейщики, способные самостоятельно извлечь полезную информацию из результатов работы софта.

Софт рассчитан на полностью автоматическую проверку миллионов ссылок/доменов. Т.е. алгоритм работы примерно такой: добавили ссылки => запустили => немного подождали => получили результат. Всё остальное программа сделает самостоятельно. Также имеется возможность настройки автоматического запуска программы по расписанию с помощью встроенных средств Windows, при этом софт автоматически завершит свою работу после выполнения всех заданий.

Софт непрост в освоении, практически без графического интерфейса, конфигурирование осуществляется через XML-файлы. Зато у софта есть замечательная документация, где каждый параметр максимально детально описан на русском языке.

Возможная сложность первоначальной настройки легко компенсируется дальнейшей безотказной работой, полной автоматизацией и скоростью проверки.

Внутри программа модульная, на данный момент реализованы следующие модули для проверок ссылок и доменов:

* проверка Google PageRank у доменов и конкретных страниц (скорость порядка 1-2 миллионов ссылок в час при наличии 1000-1500 проксей)

* проверка на склейку домена в Google (с информацией о зеркалах) для доменов

* проверка на индексацию страницы в Google

* выдача информации по количеству проиндексированных страниц домена в Google

* выдача количества найденных страниц в поиске Google для ключевого слова

* проверка в Yandex на тИЦ, склейку (с информацией о зеркалах), наличие в Яндекс.Каталоге для доменов и конкретных страниц

* проверка на индексацию страницы в Yandex

* выдача информации по количеству проиндексированных страниц домена в Yandex

* Whois-запросы с полной информацией по домену (выдача в формате base64, простейшим скриптом выдёргивается владелец, дата регистрации и прочее)

* DNS-запросы на резолв A, MX, CNAME, NS-записей для доменов (позволяет получить информацию о нейм-серверах, хостинге, мыльниках и т.д.)

* любые HTTP-запросы по списку ссылок

* проверка кол-ва бэклинков в Yahoo

* проверка наличия в web.archive.org

* проверка параметров сайта в Alexa.com

* проверка параметров SEOmoz

Также реализованы следующие модули:

* модуль поддержки скриптов (поддерживаются JavaScript, Perl, с некоторыми ограничениями PHP и другие языки), который позволяет управлять софтом скриптами, модифицировать/отсеивать результаты, парсить всё, что угодно и как угодно, создавать веб-сервисы на основе программы.

* модуль проверки прокси, который сам автоматически скачивает прокси-листы из разных источников (файлы на диске, веб-страницы, сервисы по продаже прокси), автоматически определяет тип прокси (socks4, socks5, https), сам проверяет прокси, удаляет нерабочие, умеет работать в качестве прокси-чекера для других программ и выдаёт готовые проверенные списки прокси.

* модуль управления программой по HTTP, позволяющий полностью управлять программой через HTTP-запросы, запускать-останавливать, смотреть статистику, вызывать встроенные функции из скриптов, заливать и забирать прокси и так далее.

В софте практически каждый параметр, который только можно придумать, конфигурируется.

Можно писать и добавлять в конфигурацию любые собственные модули для проверки параметров ссылок и для простого парсинга любых данных. Например, легко можно написать модули для проверки ЖЖ/Ucoz на занятость, проверки сайтов на наличие в "семейном" поиске Яндекса, сабмит RSS-лент пингом и так далее.

Поддерживаются макросы. Доступны логи и детальная статистика по работе. Все модули могут работать как напрямую, так и через прокси (за исключением DNS). Поддерживается автоматизация, запуск из командной строки с указанием конфигурации, автоматический вызов функций при окончании проверки, автоматическое закрытие.

Некоторые из вещей, которые можно реализовать скриптами/конфигами:

* массовый пинг RSS-лент

* скачивание сайтов из web.archive.org

* массовый парсинг бэклинков (на сайте есть скриншоты, где проверено 70 миллионов бэклинков по Yahoo на тИЦ)

* парсинг выдачи Google

* проверка обратных ссылок

* автоматизированный сбор списков доменов SnapNames, NameJet и других

* проверка на занятость Ucoz, Livejournal и других.

* запись результатов проверки непосредственно в базы данных (MySQL и другие).

Подробнее про поддержку скриптов тут: http://checkparams.com/scripting

Скрин программы:

Интересует? Обращайтесь :)

http://checkparams.com/

CatHypno
На сайте с 18.08.2010
Offline
83
#1

Нужная прога. Готов тестить!

spambot
На сайте с 12.12.2008
Offline
55
#2

добрый день - стукнул в асю.

Every time you attempt to parse HTML with regular expressions, the unholy child weeps the blood of virgins, and Russian hackers pwn your webapp. (http://stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtml-self-contained-tags/1732454#1732454)
Xover
На сайте с 22.05.2006
Offline
101
#3
Особенно с учётом кол-ва более красивых софтин и веб-сервисов с аналогичным функционалом

Именно, софта хватает, но у вашего плюсом является большая скорость работы, многопоточность. Веб-сервисы этого не могут предоставить.

Покупаю внутренние PR4 на sape.ru (http://www.sape.ru/r.f3cfb23480.php)
M
На сайте с 09.02.2008
Offline
68
mlu
#4
spambot:
добрый день - стукнул в асю.

Надеюсь на Ваш отзыв по результатам тестирования :)

Xover:
Именно, софта хватает, но у вашего плюсом является большая скорость работы, многопоточность. Веб-сервисы этого не могут предоставить.

Всё именно на скорость, массовость, "неубиваемость" и бесплатность (относительно веб-сервисов) и рассчитано :)

Да, и еще :)

Программка немного обновилась:

* Появилась более детальная документация по конфигурации, с примерами и дополнениями :)

* Появился редактор конфигурации, в котором можно мышкой почти всё покрутить и настроить

* Улучшения в http-модуле, теперь можно указывать что конкретно нужно сохранять после скачивания урлов (ничего/заголовки/всё вместе)

* Появился встроенный http-сервер, который отдаёт только что проверенные и 100% рабочие списки прокси. Соответственно, появился режим работы в качестве программы, которая сама скачивает прокси-листы из разных источников, проверяет их и рабочие прокси даёт скачать по http-ссылке для своих нужд. Например, её можно запустить в фоне на своём VPS/VDS и забирать оттуда на работу/домой актуальные и всегда 100% рабочие прокси.

* Появился модуль проверки в Yahoo (бэклинки и кол-во проиндексированных страниц)

* Появился модуль проверки ключевых слов/фраз на количество результатов в поиске Google.

* Исправлены мелкие ошибки и недочёты :)

P.S. собирал недавно базы тиц и pr для 2 846 338 доменов 2 уровня в зоне .ru :) Может, кому-то нужны результаты? :)

M
На сайте с 09.02.2008
Offline
68
mlu
#5

Добавил на сайт с самой программой wiki с детальной информацией по ней (конфигурация программы, описание возможностей, описание параметров статистики, изменения в новых версиях, ссылки на скачивание и так далее):

http://cp.pluxy.com/wiki/index.php

Теперь тем, кому интересно потестить, достаточно скачать программу, распаковать, запустить и получить у меня ключ :)

wildan
На сайте с 02.09.2007
Offline
51
#6

Потестировал программу. Очень порадовала скорость работы при хороших проксях, многопоточность, простота настройки. Еще бы интерфейс продкорректировать и цены бы программе не было.

spambot
На сайте с 12.12.2008
Offline
55
#7

Программа весьма шустро выполняет свою работу правда для промышленных масштабов неизбежна становится проблема поиска тысяч проксей для парсинга, автор терпеливо и доходчиво объяснил как пользоваться программой и какие выставить оптимальные настройки. :)

теги для поиска:
чекер тиц, чекер PR 🍿

Удивительно
На сайте с 07.07.2009
Offline
216
#8

Какова цена софта?

Качественная семантика недорого ( https://moab.tools/ )
M
На сайте с 09.02.2008
Offline
68
mlu
#9

wildan, спасибо за отзыв. С интерфейсом настроек небольшие проблемы: настроек слишком много, из-за постоянной доработки софта, они часто меняются и их красивое редактирование мышкой в UI отнимает слишком много времени :( Но сейчас существует промежуточное решение в виде отдельного редактора :)

spambot, тоже спасибо :) Проблема поиска прокси успешно решается самим софтом, ему достаточно указать источники, из которых надо забирать прокси, остальное он сделает сам :)

Удивительно, всё еще бесплатно :)

[Удален]
#10
mlu:
Удивительно, всё еще бесплатно :)

можно получить программу для теста?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий