Нужен краулер.

я продаю, то что тебе нужно, стукни в личку

Ну как бы это умеет персональная новотека. Разве что скачанные страницы на ваш диск не складывает :)

2 minaton - простите, что? Я просто особо не влезал в эту тему, по этому не втеме )))

2 sun - начальство говорит, что они хотят бесплатный софт.

жжжжжж) пожжужжите им бесплатно. 😮

Gubber, Бесплатный краулер.

Когда рыжий песок под гусеницами краулера вдруг осел, Петр Алексеевич Новаго дал задний ход и крикнул Манделю: "соскакивай!"

Краулер задергался, разбрасывая тучи песка и пыли, и стал переворачиваться кормой кверху. (С)

Ну я это понимаю. Может тогда немного можно упростить задачу. Нужен некий краулер, который до некоторого уровня выкачивает инфу с сайта. Хотя первая задача - это было б хорошо.

несколько операторов на перле :)

если сайты начнут обороняться от таких качалок, то надо будет добавить еще несколько операторов

но помочь ничем не могу, даеж ссылок на документацию по перлу не дам, т.к. неинтересно мне это уже

Gubber, я думал вам серьезную вещь...

телепорт в яндексе наберите..

Можно сделать персональный поисковик на базе Новотеки. Вы сами назначаете список сайтов, время обхода, глубину индексирования, маски для документов и т.д. Можете пользоваться этим поисковиком сами, а можете выложить на свой сервер для всех.

perl

use LWP