Как склеить с www и без него.

Подскажите что делает вот эта строка в роботсе

User-Agent: Yandex

Disallow:

Host: www.site.ru

Она запрещает индексировать сайт с www, т.е. проиндексированные страницы будут без www?

Если нет то как мне это сделать?

Подскажите что делает вот эта строка в роботсе

User-Agent: Yandex

Disallow:

Host: www.site.ru

Она запрещает индексировать сайт с www, т.е. проиндексированные страницы будут без www?

Если нет то как мне это сделать?

Vadim2006, она показывает, что главное зеркало с www и ничего не запрещает.

Хост указан с www, он и будет проиндексирован Яндексом, как основное зеркало.

Без www, в данном случае (только для Яндекса) запрещен к индексации.

Если нужно наоборот, напишите:

а как мне запретить индексацию с www? надо чтобы проиндексированные страницы выглядели не www.site.ru а site.ru

а если нужно не только для яндекса? а для все поисковых систем.

что писать?

и еще где то читал про htacess с ним тоже что то нужно сделать?

Vadim2006, прописать Host: site.ru, а с www на site.ru сделать 301 редирект так:

/ru/forum/comment/1447832

это необходимо вписать в хтагес? (про редирект)

Vadim2006, да

т.е. в роботсе пишу

User-Agent: Yandex (если уберу яндекс то будет для всех?)

Disallow:

Host: site.ru

и в хтагесе

то что вы дали

Прав?