Если вдруг кому потребуется: все оказалось намного проще :) Достаточно зажать shift и нажать на экспорт excel файла - тогда выгрузка будет сделана в подобном виде.
Добрый день
На сайте есть раздел новинки - как категория каталога.
Урл https://sirop.club/catalog/category/new/
В нем есть деление по группам товаров, например, новинки в птице
урл https://sirop.club/catalog/category/new/birds/
Также если зайти сначала в категорию птицы, затем там выбрать новинки, то получаем урл
https://sirop.club/catalog/category/birds/new/
Согласно Pagerank, страницы вида
имеют больший вес чем
https://sirop.club/catalog/category/new/birds/
Следовательно, последний тип нужно закрыть в robots, чтобы поисковые машины их не учитывали (листинг товаров абсолютно идентичен)
Правильно ли я понимаю, что в роботс должно быть прописано
Disallow: /category/new/
И при этом страницы правильно вида, например, https://sirop.club/catalog/category/birds/new/ не будут заблокированы для индексации? Или требуется добавить какой-то дополнительный параметр allow?
Заранее спасибо за разъяснения.