WebCrawler

MorganSalevan
На сайте с 27.06.2008
Offline
124
573

Посоветуйте скрипт php/java кравлера. Нужна такая функция: скормил ему катлог ссылок, и он пошёл гулять :)

Каждый 5 ответ получает 0.10 wmz :) БАНК 0.60 WMZ :bl:

[Удален]
#1

wget тебе в помощь

wget -r http://yandex.ru

;)

neov
На сайте с 15.02.2005
Offline
95
#2
bearman:
wget тебе в помощь

wget -r http://yandex.ru

;)

Можно поподробнее?🚬

[Удален]
#3

http://www.gnu.org/software/wget/

это беслпатная утилита в системах linux, которая умеет, например скачивать сайты полностью :)

аналог teleport в виндусах.

W
На сайте с 19.06.2006
Offline
142
#4

Вот чего есть в сети: собирает все адреса страниц с заданного сайта. Простенький и узкий, имхо. Там же можно воткнуть фунцию обработки контента, если оно нужно - как базис должно сгодиться :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий