Краулер

Zerg WereWolf, потрошить кого-то не обязятельно.

Как выдернуть все ссылки из страницы написано в мануале к перлу.

Очередь этих ссылок думаю и сам догадаешься как организовать.

Дальше - только канал широкий нужен, который как правило у хостера есть :)

Ммм... распотрошил я странички на предмет ссылок - ок, но (!) там ссылки не только на этот сайт, но и на другие + картинки, pdf-ки, wrl-ки, co-ки и многое еще чего, что считать не нужно. Метод HEAD не всегда пролезет - контент большей частью динамический. По части ширины канала не беспокойтесь - до того, что я собрался обсчитывать канал 100 Mbps... Кстати, по части очередей - оптимизировать это дело никак нельзя?

http://search.cpan.org/dist/HTML-Parser/lib/HTML/LinkExtor.pm

Анализ полученных ссылок - regexp'ы.

Оптимизация... ну если нужно обойти все подряд ссылки, то что тут оптимизировать-то? Ну несколько процессов в параллель запустить...

А wget не подойдет? Скачать им все страницы на диск, а потом посчитать размеры файлов. По ссылкам он сам ходить умеет, только ему ключик нужно указать, чтобы он рекурсивно страницы обходил.

Скачивать wget-ом несколько гигабайт? - глупо...

Чтобы найти самую "легкую" и самую "тяжелую" страницу, Вам этих гигов не избежать. wget - действительно один из вариантов.

Помниться у wgeta есть ключик, который позволяет не скачивать, а лишь проверять наличие. Возможно в ответе он сообщает размер.

Reanimator, в некоторых случаях невозможно узнать размер страницы предварительно её целиком не выкачав. Особенности протокола. Кроме того, wget вряд ли умеет обходить ловушки с session_id...

Другое дело, что вероятно имеет смысл обратиться к исходникам wget'а и дописать недостающее...