В таком случае я бы посоветовал сервис advego. Создаете задание, пишите условия и потом принимаете результат. Не сказал бы что дешево, но работает.
Правильно сказали, если текст уникальный, нет дублей, тогда нужно попробывать поставить несколько дополнительных внутренних ссылок, если это не целеособразно, тогда закупить по несколько ссылок на страницы (но это при условии, что нет технических проблем).
могут быть проблемы со смысловой уникальностью текста, типа "глубокие рерайты" и тд.
Окей, тогда может есть какой-то "особенный" способ для анализа крупных ресурсов? Если анализировать по частям, адекватных данных мы не получим..
Скажите, а справится программа с сайтом, где 1 млн. страниц?Какие мощности мне потребуются, что "осилить" этот объем?