В программе SMILE SEO Tools есть такая функция проверки битых ссылок и проверки и удаления повторяющихся ссылок... очень полезная вещь )
при своей базе в 14000 каталогов добавилось 300 новых )) спасибо 🙄