Как бороться с этой проблемой?

Ну здесь прямо сказанно, что проблема с Robots.txt

В часте, где

User-agent: *

Смотрите по полю

Disallow:

Уберите то поле, которое перекрывает доступ к файлу.

Легче будет зайти в Вебмастер гугла, там пункт "тестирование файла robots.txt".

Там есть поле ввода для ссылок. Введите ту, которую необходимо открыть и гугл подсветит какая строка кода ее блокирует.

Её и надо будет убрать.

Так дело в том, что на сайте куча дублей страниц. Соответственно их и блокировали в роботсе, чтобы они выпадали из индекса

Дубли надо не роботсом закрывать, а кодом 404.

Передавайте хедер на страницы, которые надо удалить.

Во втором случае, зачем беспокоиться, если дубли закрыты, а основное открыто?

productorg, а зачем эти дубли в сайтмап загружать?

Да он автоматом формируется