Host: в robots.txt?

M
На сайте с 22.11.2007
Offline
15
461

Добрый день.

Необходимо, чтобы Яндекс считал главным доменом site.ru а не www.site.ru Так как основная масса ссылок именно на site.ru. На данный момент в индексе Яндекса полностью отсуцтвуют страницы без www.

Прочитал много тем на форуме по этому вопросу, и прописал host в robots.txt:

User-agent: TurtleScanner
Disallow: /

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /main/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Host: site.ru

Подскажите, в данном варианте Host прописан правильно?

Некоторые предлогают ставить Host сразу после User-agent:

Другие после Disallow:

Спасибо.

A
На сайте с 04.07.2006
Offline
20
avk
#1

Нормально. Работать будет. Желательно еще сделать 301 редирект с www.site.ru на site.ru

moneyak:
Необходимо, чтобы Яндекс считал главным доменом site.ru а не www.site.ru
Обменяюсь статьями. Тематика: покер, азартные игры, казино.
Цахес
На сайте с 15.03.2007
Offline
205
#2
moneyak:
Некоторые предлогают ставить Host сразу после User-agent:
Другие после Disallow:

"Другие" дело говорят. ;)

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
Алексей Барыкин
На сайте с 04.02.2008
Offline
272
#3

В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow'). Аргументом директивы 'Host' является доменное имя с номером порта (80 по умолчанию), отделенным двоеточием.

http://help.yandex.ru/webmaster/?id=996567#996574

M
На сайте с 22.11.2007
Offline
15
#4

Всем спасибо...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий