Вопрос о robots.txt

WH
На сайте с 25.05.2008
Offline
10
472

Добрый день форумчане!

Извините за столь нелепый вопрос.Скажите как правельнее прописать в файле robots.txt так:

User-agent: *

Disallow:

User-agent: Yandex

Disallow:

Host: site.ru

Sitemap:http://site.ru

или же так :

User-agent: *

Disallow:

Sitemap:http://site.ru

User-agent: Yandex

Disallow:

Host: site.ru

спасибо,в поиске искал не нашел.

kimberlit
На сайте с 13.03.2007
Offline
370
#1

Оба варианта неправИльно ...

Обратите внимание на пустые строки и сайтмап ...

User-agent: *

Disallow:

User-agent: Yandex

Disallow:

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий