Простой http... Парсит страницу, находит на ней ссылки на другие страницы, парсит те другие, находит ссылки на еще более другие... И так далее... :)
