Парсер поисковых систем

Модуль Spambase обновился до версии 1.0

Разработали абсолютно новый движок для Spambase и добились очень высоких скоростей: на Shared хостинге в 25 потоков при парсинге Google около 24к ресурсов в минуту при парсинге Yahoo около 17к (парсинг без проверки ресурсов по запросам типа inurl:guestbook, inurl:blog и т.д.). К сожалению, движок парсера MSN пока не закончен, поэтому текущая версия скрипта позволяет работать только с Yahoo и Google.

Основные характеристики скрипта:

- многопоточность;

- парсинг Google и Yahoo;

- проверка отпарсеных ресурсов (наличие форм, пригодна ли форма для спама, поиск ссылок на форму, определение PR и т.д.);

- экспорт данных;

- скрипт почти не использует прокси (используются в случае парсинга больше 500к ресурсов по Yahoo в сутки).

- возможность проверки собственных баз;

- отправка сообщения об окончании парсинга на e-mail.

На данный момент не решен вопрос с демо-доступом, т.к. если давать скрипт на тесты даже на 30 минут, то можно успеть собрать базу в 400-600к ресурсов :) Скриншоты интерфейса можно будет посмотреть на сайте.

Цена модуля 70$ (с последующими бесплатными обновлениями).