Что закрывать в robots.txt?

Zarutskiy
На сайте с 09.07.2010
Offline
11
844

Создается сайт на html и css. Из php только "инклуды" на шапку, подвал и сайдбар. Нужно ли закрывать их от поисковиков, если они лежат в одной и той же папке, что и index.php? И если не закрыть, то стоит ждать проблем с индексацией?

kimberlit
На сайте с 13.03.2007
Offline
370
#1

Не надо...

Zarutskiy
На сайте с 09.07.2010
Offline
11
#2

Но в популярных CMS по умолчанию файлы шаблона почему-то закрыты. Значит в этом есть смысл?

kimberlit
На сайте с 13.03.2007
Offline
370
#3
Zarutskiy:
Но в популярных CMS по умолчанию файлы шаблона почему-то закрыты. Значит в этом есть смысл?

В каких популярных? По какому умолчанию? Какие файлы шаблона?

Zarutskiy
На сайте с 09.07.2010
Offline
11
#4
WordPress:
User-agent: *
...
Disallow: /wp-content/themes
...

Конкретнее: файлы header.php, footer.php, sidebar.php и т.д.

kimberlit
На сайте с 13.03.2007
Offline
370
#5

Zarutskiy, фигня это всё.

ПС не видят ваших инклудов и не подозревают о них.

W
На сайте с 21.01.2009
Offline
172
#6

От того, что бы ничего в robots не закроете, вашему сайту хуже не будет

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий