Нужен совет по созданию карты сайта для многостраничного динамического каталога.

Имеем сайт с большой номенклатурой товара, все стоит на своих серверах, базы собственный и т.д. на бэкэнд трудятся не покладая рук множество человек). Структура следующая, на сайте имеется поиск который тянет и выводит материалы согласно запросам. Запросы могут быть разные номер товара, название, подгруппа и т.д. Яша загрузил в общем 3000000 страниц из них около 26к страниц в индексе. Понятно, что первопричиной могут быть дубли или ещё какие то проблемы, потому как на разный запрос, соответственно и разный урл титлы встречаются одинаковые. Все же выдача работает и посещения приходят. Стоит задача наведения порядка, в итоге встает вопрос , как лучше сделать карту сайта , для такого большого объема страниц. Предположение сделать скрипт который спарсит всевозможную номенклатуру с условием, что не будет повторяться титл страницы... Может есть какие идеи мысли, или кто то с подобным сталкивался ?