Форум Практика оптимизации Любые вопросы от новичков по оптимизации

вопрос по robots.txt

S1
На сайте с 20.07.2005
Offline
2
Shell14
495

Народ, подскажите, пожалуйста, что прописывать в robots.txt

Host: www.site_name.ru

ИЛИ

Host: www.site_name.ru/portal/

если с www.site_name.ru стоит автоматический редирект на www.site_name.ru/portal/ (сделано по техническим причинам)

Гроссмейстер
На сайте с 15.01.2005
Offline
104
Гроссмейстер
#1

Яndex: Раздел помощи. Советы вебмастеру.

Параметр директивы Host обязан состоять из одного корректного имени хоста (т.е. соответствующего RFC 952 и не являющегося IP-адресом) и допустимого номера порта. Некорректно составленные строчки Host игнорируются.

# Примеры игнорируемых директив Host

Host: www.myhost-.ru

Host: www.-myhost.ru

Host: www.myhost.ru:0

Host: www.my_host.ru

Host: .my-host.ru:8000

Host: my-host.ru.

Host: my..host.ru

Host: www.myhost.ru/

Host: www.myhost.ru:8080/

Host: http://www.myhost.ru

Host: www.mysi.te

Host: 213.180.194.129

Host: www.firsthost.ru,www.secondhost.ru

Host: www.firsthost.ru www.secondhost.ru

Источник: http://yandex.ru/info/webmaster2.html

Андрей Муравьёв Временно заброшенный блог: «Заметки интернет-маркетолога (http://web-blog.ru/)» «Чтобы задать правильный вопрос, нужно знать большую часть ответа» © Цицерон.
Переезд с HTTP на Поиск поддоменов в Яндексе Поиск поддоменов сайта в

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий