мы наверное немножко о разном говорим возможно я не прав по неопытности поправте если не так
На движке настроен ЧПУ тоесть каждая товарная страница имеет уникальный адрес, но есть еще и дублирущая страница которая без ЧПУ в виде index.phpблаблабла, вот они как раз заперты через robots.txt
У меня был вопрос такого плана что на каждой странице магазина есть выход на Хлебные крошки и на каталог, тоесть по суди получается со страницы идет два линка на другие страницы, отсюда вопрос следует ли запереть от индексации либо каталог либо хлебные крошки?
у меня настроен ЧПУ а дубли в виде index?/.... убраны в robots.txt
