Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Нужен ли моим сайтам robots.txt чтобы не произошла склейка с www?

[Удален]
543

Всем доброй ночи :)

Вобщем у меня есть несколько сайтов, они все без www, тоесть просто site.* Но вот я слышал что происходят какие-то склейки, падают сайты в выдачи, и виной тому что что-то не прописали в роботсе, я просто новичок в этой теме. Подскажите что мне прописать конкретно в robots.txt буду очень благодарен.

Вот сейчас допустим мне письмо пришло на мыло и там предлагаются зарегаться в каталоге, при этом урл моего сайта они написали с www.* но он мне НЕ НУЖЕН этот www:idea:!!! вот поэтому и решил тут спросить по поводу этой темы.

iren K
На сайте с 28.12.2008
Offline
222
iren K
#1

пропишите в роботсе:

Host: site.ru

или более развернуто:

User-Agent: *

Disallow:

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

c уважением Iren
overnight
На сайте с 23.05.2008
Offline
262
overnight
#2

iren K,

Важно: в целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow'). Аргументом директивы 'Host' является доменное имя с номером порта (80 по умолчанию), отделенным двоеточием.
http://help.yandex.ru/webmaster/?id=996567#996574

Sergiys, любому сайту полезно прописать дерективу Host в robots.txt и редирект с www.

Talisman13
На сайте с 20.01.2007
Offline
211
Talisman13
#3

Sergiys, наоборот необходимо склеивать без и с www. Подробнее об этом написано здесь Прочитав вы поймете что к чему.

Выберете для вас нужный вариант, то есть с или без www и склеивайте.

wormeus
На сайте с 05.04.2007
Offline
123
wormeus
#4

скорее всего ваш сайт уже склеен

[Удален]
#5

спасибо большое всем за ответы :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий