Сбор URL с сайта

Есть сайт с большим кол-во страниц, в индекс Г заходит все вовремя, а вот в Я естественным образом не входят страницы. Новые стр. добавляется каждый день.

Собственно нужна прога которая сможет собрать URL страниц, желательно с Title.

Но есть проблема, есть часть мусорных страниц которые могут попасть под сбор URL.

Закрыл их от индексации в robots через disallow (это кстати сработает для защиты от индексации?), что бы не мешались при индексации.

Мусорные страницы образуются в определенных категориях

site.ru/мусорная_категория/страница.html

Очень желательно чтобы прога могла исключить собор таких страниц, просто вместе с ними будет огромное кол-во страниц.