wget в качестве паука

Вообще-то главная задача паука не качать сайты, а индексировать на них информацию, заносить в свою базу.

все зависит от масштабов работы

wget довольно аккуратно качает и этот код конечно можно переиспользовать, но доводить конечно придется.

Например, он не умеет хранить очереди на диске =>

неустойчив к перезапуску и не готов выполнять длинные

задачи (список найденных и еще непосещенных ссылокрастет намного быстрее списка посещенных)

Далее - многопоточное скачивание, асинхронный DNS,

балансировщик нагрузки, реализация стратегии обхода ...

Вообщем, wget - это 10%.

Ну, для многопоточного скачивания можно запустить несколько wget'ов одновременно и напустить их на разные сайты, чтобы не пересекались. Нагрузку тоже делить по количеству сайтов для скачивания. Обходить в конечном итоге нужно весь сайт целиком, поэтому не все ли равно в каком порядке?

Nobbin, предупреждаю, что сайт с сессиями в URL ты целиком никогда не выкачаешь...

И потом, вроде бы он JS не парсит, т. что сайты с динамическим меню отпадают тоже.

Да. Тут не поспоришь :(

А мне казалось, что JS вообще мало кто парсит. Ну уж по крайней мере, чтобы парсить динамическое меню, нужно иметь на борту не менее чем полноценный интерпретатор JavaScript.

Ты так сказал, как-будто речь идёт о тактическом ядерном оружии.

Интерпретатор, в отличие от ракеты и в open source проектах позаимствовать можно. И потом, я писал "парсить" а не "выполнять". Как говорится почувствуйте разницу.

На мой взгляд, парсить как раз не достаточно. Надо уметь выявлять ссылки. Теоретически, на JS можно написать такой изврат, что очень сложно будет понять, что это за ссылка.

Нпаример, можно часть ссылки вычислять в какой-нибудь функции.

Но я это все к тому говорю, что все равно этого почти никто не делает и для обычного паука разбирать JavaScript совсем необязательно.