Host в robots.txt

S
На сайте с 06.12.2010
Offline
18
235

Здравствуйте! У меня клиент посмотрел у своего главного конкурента как составлен robots.txt . И у него возник вопрос "У них Host: идет сразу же после последнего Disallow без отступа. Я где-то читал, что отступы в роботсе важно расставлять правильно." Это правда? Отступы в robots.txt важны?

Сейчас он выгладит так:

User-agent: *

Disallow: /search

Disallow: /admin

Disallow: /*cart*

Disallow: /*images*

Disallow: /*?sort

Disallow: /*?filter

Disallow: /*search?q=*

Sitemap: http://www.site.ru/sitemap.xml

User-agent: Yandex

Disallow: /search

Disallow: /admin

Disallow: /*cart*

Disallow: /*images*

Disallow: /*?sort

Disallow: /*?filter

Disallow: /*search?q=*

Host: www.site.ru

Sitemap: http://www.site.ru/sitemap.xml

---------- Добавлено 26.01.2012 в 10:29 ----------

Ответ нашел сам. "Директива Host является межсекционной, поэтому будет использоваться роботом вне зависимости от места в файле robots.txt, где она указана."

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий