Настройка robots.txt с субдоменом

K
На сайте с 23.04.2010
Offline
62
352

На сайте каталог сделан на субдомене.

В папке домена robots.txt:

--------------------------------

User-agent: *

Sitemap: http://домен/sitemap.xml

Host: домен

--------------------------------

В папке суб.домена robots.txt:

--------------------------------

User-agent: *

Sitemap: http://суб.домен/sitemap.xml

Host: суб.домен

--------------------------------

sitemap.xml есть со структурой в двух папках, проверил Валидатором - ошибок нет.

Сейчас в индекс не попадает ни домен ни субдомен, попадают только http://домен/en/

Какие порекомендуете внести изменения в robots.txt чтобы все попало в индекс?

Я думаю что нужно сделать:

В папке домена robots.txt:

--------------------------------

User-agent: *

Host: домен

Allow: /

--------------------------------

В папке субдомена robots.txt:

--------------------------------

User-agent: *

Allow: /

--------------------------------

Там сайт не сильно большой, зачем та структура. Функционал её создания, скорее всего, паравозом с CMS-кой парился.

Спасибо!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий