Если текста нет в индексе, то он уникальный. Логично? Тогда с проиндексированными страницами его и нужно сравнивать. При чем тут вообще загружено роботом?
