насколько необходим подобный скрипт?

burunduk, мне казалось ты читать умеешь, поиск юзать тоже.. Не разочаровывай меня, плз ;)

Из того "описания", что было показано - НИЧЕГО, кроме "скачать файлы" и "чего-то там запихать в одну таблицу БД" мега-скрипт не может (понты про расчёты нагрузок и умность заключённую в 200х строках.. их можно в пятом классе кидать, не тут плз.)

И да, что бы что-то получить - нужно а) скачать источник (полностью или нет) б) найти "это". Процесс, который делает (находит) эту выборку и называется парсинг. Так что - мимо.

первый пункт опроса разве что :)

Хотя да.. дураков хватает :) Многие могут платить деньги за то что есть бесплатно (и порой даже лучше)

Лучший способ потестить продукт - запустить его в продажу или хотя бы раздать бесплатную тестовую версию...

и да, подробное описание возможностей рулит! :)

В предыдущих двухстах строках:

Многопоточный curl;

Хм... у меня один из разработчиков написал вебсервер (причём под винду), который держит несколько тысяч запросов в секунду. И, по аналогии, такой же нагрузки краулер.

Здравствуйте! Всем спасибо за проявленный интерес. С вами разработчик скрипта. На форуме долго не работала регистрация, поэтому не смог ответить сразу. Лёша тебе отдельное спасибо за пост.

SeVlad, Aria2c не имеет рекурсии, это значит что максимум, что вы сможете - это качать сайт по списку ссылок, я не говорю про минимальный интеллект, который необходим при загрузке нескольких сайтов одновременно. Пожалуйста изучите тему, а потом бросайте ссылки.

Данный скрипт представляет интерес для разработчиков PHP, а не для Linux администраторов. Поэтому, пожалуйста не задавайте вопросы, "зачем нужен этот скрипт, если например есть http://nutch.apache.org/"

хм, интересная штука, я бы поюзаль....