Революционный скрипт-краулер с морем возможностей!

AZ
На сайте с 26.05.2010
Offline
9
3952

Доброго времени суток, товарищи!

Представляю вам программу которая имеет огромнейший потенциал, и аналогов которой в SEO еще не было! Это серверный скрипт-краулер. Краулер - это бот обшаривающий сайты (да, да, такой как у поисковиков). Бот обшаривает указанный сайт, собирая всю информацию, такую как урлы, кол-во ссылок, редиректы, скрипты, и т.п. (полный исходный код страницы). Дописывая метод-обработчик вы сами решаете как поступить с собраной информацией.

Софт имеет множество настроек, таких как URL и Content Type фильтрация, приоритет обработки ссылок, принятие Cookies, забивание болта на robots.txt (sic!), перехождение по редиректам (301/302, не JavaScript), ограничение максимально допустимого объема данных/кол-ва страниц, подмена User-Agent'a и многое-многое другое.

Простор для творчества открывается действительно огромный. Mожно, например, анализировать плотность ключевиков, разбирать JavaScript'ы, использовать ее в качестве копировальной машины для дорвеев с автосменой редиректов, или даже DDoS'ить (при наличии ~9000 мощных серверов, конечно же :) ).

Программа отдается за смешные для ее потенциала $55 с открытыми кодами, которые хорошо прокомментированы, примером скрипта-обработчика, и большым readme с подробной документацией. Так-же предоставляется тестовый графический интерфейс для управления настройками бота с возможностью их сохранения.

So:

Цена: $55

Комплектация: Непосредственно файлы класса, пример скрипта-обработчика, тестовый GUI для настройки опций бота, ReadMe с полной документацией, открытый и хорошо прокомментированый исходный код.

Контакты для вопросов:

ICQ: 232-461-023

E-Mail: zde@altair-z.net

Поддержка осуществляется на этом сайте

Краулер показывает себя с лучшей стороны при наличии прямых рук у владельца, но может стабильно ложить сервера при излишней кривизне оных. Основная фича заключается именно в том, что основной обработчик полученых данных вы пишете самостоятельно. Вы можете копировать сайты, анализировать ссылки, ключи и т.п. В общем делать все, на что хватит Вашей фантазии :)

M0
На сайте с 10.06.2009
Offline
91
#1

И на каком языке это чудо? Работает ли во много потоков? Работает с одним сайтом или может смотреть сразу несколько?

AZ
На сайте с 26.05.2010
Offline
9
#2

Это чудо на РНР.

В этой версии только один сайт за раз (но никто не мешает запускать несколько копий. Сейчас дорабатываю многопоточность, но пока сыровато.

leprekon
На сайте с 13.05.2010
Offline
27
#3

Altair-Z, пишите, пишите, пишите...

Для такой стоимости в скрипте должно быть следующее:

  • Многопоточность
  • Исключение урлов через регулярное выражение или текст, содержащийся в урле
  • Работа с несколькими сайтами
  • Работа с сайтом с обработкой robots.txt от имени заданного бота
  • Передача дополнительных параметров в header

Всё это желательно реализовать в виде удобного класса. А вообще идея провальная, так как Ваш скрипт предназначен для кодеров. А кодеры сами смогут написать себе такой класс.

The WishMaster
На сайте с 29.09.2005
Offline
2542
#4

Удивительно, как это еще ТС не в бане.

Кому старенького креативного копирайтера? Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)
AZ
На сайте с 26.05.2010
Offline
9
#5

leprekon, второе есть, третье есть. Это и так класс.

The WishMaster, да уж, это просто кошмар какой-то.

AX
На сайте с 20.09.2008
Offline
133
#6

Слишком громкое название... ;)

D
На сайте с 08.10.2006
Offline
194
#7

на сайты-жертвы по логину и паролю скрипт ходить умеет?

Разработка сайтов от KAstudio.ru ( https://kastudio.ru/ )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий