Что нужно закрыть для правильной индексации

Составляю файл robots.txt задался вопросом, что необходимо закрыть для правильной индексации

У меня сайт такой структуры

img/

text/

js/

page1.php

page2.php

pageN.php

Каждая страница берет текст (include('text/page1_t.php');) из страниц, которые находятся в каталоге "text"

Вопрос:

1 нужно ли закрывать каталог text?

У меня двоякое мнение -если не закрыть, то не получится ли дублирование страниц?

Если закрыть, то проиндексируется ли текст в страницах page1-N.php?