если сайт мелкий - проблем нет : установить на выдаче "показывать по 100" , плюс SEOQuake // выгружает в csv - все красиво.
Если говорить о большем кол-ве тут беда(
Давно юзаю Comparser - идея класс, реализация отстой. Он пытается собирать по дереву структуры(( а в индексе далеко не так.. И даже по такой логике больше 1000-1500 стр собрать не возможно , гугл банит
