Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Пресловутый robots

Savery
На сайте с 25.07.2006
Offline
127
Savery
310

Получился вот такой robots:

User-agent: Yandex
Allow: /
Sitemap: http://www.site.ru/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1&Itemid=154

User-Agent: *
Disallow: /cache/
Disallow: /tmp/
Host: www.site.ru

Но валидатор Яши для robots говорит, что использует только секции с 1 по 3.

Почему он не принимает Остальную часть?

Алексей Барыкин
На сайте с 04.02.2008
Offline
272
Алексей Барыкин
#1

Директива Host - только для Яши.

Если Яша видит персональную секцию в robots.txt, в общую он не заглядывает.

Сделайте так:

User-agent: Yandex
Allow: /
Host: www.site.ru
Sitemap: http://www.site.ru/index.php?option=...l=1&Itemid=154

User-Agent: *
Disallow: /cache/
Disallow: /tmp/
https://adminbook.ru/
MG
На сайте с 21.07.2008
Offline
135
MarvelousG
#2

Используйте вот такую конструкцию: 

User-agent: Yandex

Disallow: /cache/

Disallow: /tmp/

Sitemap: http://www.site.ru/index.php?option=...l=1&Itemid=154



User-Agent: *

Disallow: /cache/

Disallow: /tmp/

Хост только для яндекса.

И ненужно писать Allow: / если есть запреты.

Почему он не принимает Остальную часть?

Потому что смысл файла пропадает.

Нельзя будет убрать для определенного пс правило. Можно будет только добавить.

Savery
На сайте с 25.07.2006
Offline
127
Savery
#3

Алексей Барыкин, MarvelousG, угумс, большое спасибо:)

Не-а... не хочет. Тот же результат выдаёт: Используемые секции Строка 1-4:

Аа...тьфу.. всё... понял:) Вопрос снят

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий