И более того, даже не пытались ничего найти.
http://robotstxt.org.ru - на доступном языке.
На все такие вопросы не надо писать новый пост, выбирайте и изучайте:
http://yandex.ru/yandsearch?text=site-auditor
http://www.google.ru/search?q=site-auditor
В следующий раз отмечу наградой за лень.
А вообще тут есть целый раздел по вашему вопросу.
Я фигею, до чего люди обленились. Не скажу.
Ищите "скрытая часть каталога".
Страницы не банят.
Конечно могут, если захотят.
Спросите у хостера, что такое "корневой каталог" и где он находится, он все объяснит.
Хотя все это должно было быть вам известно при покупке хостинга.
А как же роботы его скачают? Это такие же броузеры, только текстовые.
окажется, что все это очень глупо. Все борются с дублями, а вы их решили наплодить.
В службе тов.Щукина на это сначала посмотрит живой человек.
