Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос про robots.txt

2-D
На сайте с 13.05.2007
Offline
116
2-D
340

Можно ли делать так?

User-agent: Yandex

Host: www.site.com/ru

То есть собственно вопрос в том можно ли хост так прописать, или же надо писать

Host: www.site.com

А все остальные директивы Disallow закрывать?

Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#1

2-D, поиском пользовались?

В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow'). Аргументом директивы 'Host' является доменное имя с номером порта (80 по умолчанию), отделенным двоеточием.

Параметр директивы Host обязан состоять из одного корректного имени хоста (т.е. соответствующего RFC 952 и не являющегося IP-адресом) и допустимого номера порта. Некорректно составленные строчки 'Host:' игнорируются.

http://help.yandex.ru/webmaster/?id=996567#996574

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий