Помогите склеить www.site.ru и site.ru

А какие последствия данного действия.

Имеется в виду склейка по хост.

И если сайт в каталоге ЯК

RewriteEngine on 

RewriteCond %{HTTP_HOST} ^www.site\.ru 

RewriteRule ^(.*)$ http://site.ru/$1 [R=permanent,L]

а в чем различие от

User-agent: *

Disallow:

Host: site.ru

Эта фишка для Яндекса, а реврайт для всех.

Тоже интересно - можно ли совершить данное действо (реврайт) когда сайт уже в каталоге. И как это отразится на выдаче.

Изначально, перед регистрацией сайта ставить реврайт и забыть об этой проблеме - это понятно.

А как сделать это при существующем? Дабы и рыбку съесть ........

Прошло около месяца, а зеркальный робот всё еще не посетил мой сайт...

Интересно, мне еще долго ждать?

А во всех предложенных вариантах я запутался, если честно

Ждите. 666ть Греев.

Да, говорили уже, давно его небыло, но вот вот на подходе. :)

Если мы прописываем :

User-agent: *

Disallow:

Host: sate.ru

То яндекс имеет это ввиду так:

Запрещена индексация всех URL, начинающихся с указанных префиксов:

/

Индексация сервера www.sate.ru:80 запрещена полностью.

Когда я добавлял сайт только без www, каким-то образом

появлялись и обратные ссылки с www.

И получается что все ссылки, кторые проявились с www, или специально были поставлены, или будут поставлены на www.sate.ru просто потеряются в никуда.

Получается, Disallow нужно убрать?

Сделай просто Disallow: /cgi-bin/

и фсе

Если верить спецификации - пустая директива Dissalow ничего не запрещает.