насколько необходим подобный скрипт?

для анализа того что есть на странице :)

---------- Добавлено 11.04.2012 в 21:07 ----------

Думка, SeVlad, завтра уточню у прогера что и как там можно настраивать

wget не ходит по циклу по ссылкам :)

-r - не?

или -m

Или об чем речь?

Коммент от разработчика

Не вгетом единым... Это было больше образно сказано. Хотя даже с ним всё можно. И не только так.

Кого "программировать"? вгет? (всё, ставлю 4-вариант ответа опроса :) )

По остальному тоже.. бла-бла-бла.. (а то ведь попрошу формулы расчёта и методы определения нагрузок)

В общем, понятно.

Я то думал реально СКРИПТ (парсер), а оно.. запустить много потоков курла много ума не надо.

SeVlad, то что ты приводишь в качестве примера - это просто закачка файла, а что дальше?

с этими данными как-то можно работать, например построить карту сайта или рассчитать вес страниц или ...?

Отнюдь! В СД это (процессы):

1. Закачка html

2. распарсивание его

3. вырезание\оставление блоков

4. формирование из них (+ макросов + др частей) абсолютно нового контента (микса, если быть точным).

И это только поверхностно и далеко не всё, что должен уметь нормальный парсер.

А что, сабжевый скрипт это может? Или в чём суть вопроса?

Построить карту с тем же СД - как 2 пальца об асфальт (распарсить линки из файлов - делов-то.).

Вес страниц.. :) Ну не будем углубляться в ньансы определений, а посчитать кол-во линков откуда куда сколько.. Это конечно не задача парсера, но выдать данные для расчёта - это тоже не проблема (всё тоже распаршивание линков).

если задачи у парсера достаточно однобокие - генерация контента :)

это не проблема и для этого не надо распаршивать скаченные файлы :)

burunduk, 200 строк уже написаны, к чему вопросы? Пусть пробует продавать.

burunduk, много будет еще зависит от ценовой политики продукта, маркетинга, уровня реализации. Так "ткнуть" пальцем в небо тяжело. Но, при правильном подходе - спрос будет 🤣