Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt c www и без www

15

ree

15 ноября 2007, 12:55

1421

Добрый день!

Запуталась с robots.txt c www и без www.

У меня очень долго существовал сайт без www (домен третьего уровня) http://site1.xxxxx.ru/.

Он проиндексирован (и индексируется) хорошо всеми поисковиками без www.

Недавно для него сделали, чтобы он еще и с www грузился. И теперь сайт доступен и по этому адресу: http://www.site1.xxxxx.ru/. Информация полностью совпадает с http://site1.xxxxx.ru/.

Хочу сделать robots.txt для этого сайта. И не знаю как правильно туда добавить url — c www и без www?

Я хотела так:

User-Agent: *

Disallow:

Host: http://www.site1.xxxxx.ru/

но у меня сейчас в выдаче очень хорошо ранжируются многие странички и они все без www, может в роботсе тогда надо тоже прописать так Host: http://site1.xxxxx.ru/.:confused:

Что тут важно учитывать?

Заранее благодарю.

150

hcir

15 ноября 2007, 13:00

#1

ree:
И не знаю как правильно туда добавить url — c www и без www?

В зависимости от того, что вы хотите сделать основным.

Чтобы основным доменом сделать www.site1.xxxxx.ru (с www):

User-Agent: *
Disallow:

User-Agent: Yandex
Disallow:
Host: www.site1.xxxxx.ru

Но поскольку:

ree:
у меня сейчас в выдаче очень хорошо ранжируются многие странички и они все без www

Лучше сделать основным вариант без www. Код тот же, что и выше, только

Host: site1.xxxxx.ru

Всё это действует только для Яндекса.

wbr

[Удален]

15 ноября 2007, 13:00

#2

По правилам домены третьего уровня пишутся без www, проиндексирован он у вас без www, так что пишите в роботсе без www и будьте счастливы.

247

albion

15 ноября 2007, 13:00

#3

ree:
Host: http://www.site1.xxxxx.ru/

вот так: Host: site1.xxxxx.ru

Но, пока Яндекс не узнал о Вашем домене с www, лучше сделайте редирект с www на домен без www. Так вы себя обезопасети от расклеивания доменов и других неожидонностей, которые могут повлиять на позиции сайта.

247

albion

15 ноября 2007, 13:01

#4

shamuey:
По правилам домены третьего уровня пишутся без www

Домены 3 уровня с www - это уже домены 4 уровня ;) А так, никаких правил нет.