Нужен ли моим сайтам robots.txt чтобы не произошла склейка с www?

[Удален]

12 ноября 2010, 01:56

543

Всем доброй ночи :)

Вобщем у меня есть несколько сайтов, они все без www, тоесть просто site.* Но вот я слышал что происходят какие-то склейки, падают сайты в выдачи, и виной тому что что-то не прописали в роботсе, я просто новичок в этой теме. Подскажите что мне прописать конкретно в robots.txt буду очень благодарен.

Вот сейчас допустим мне письмо пришло на мыло и там предлагаются зарегаться в каталоге, при этом урл моего сайта они написали с www.* но он мне НЕ НУЖЕН этот www:idea:!!! вот поэтому и решил тут спросить по поводу этой темы.

222

iren K

12 ноября 2010, 01:59

#1

пропишите в роботсе:

Host: site.ru

или более развернуто:

User-Agent: *

Disallow:

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

c уважением Iren

262

overnight

12 ноября 2010, 02:04

#2

iren K,

Важно: в целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow'). Аргументом директивы 'Host' является доменное имя с номером порта (80 по умолчанию), отделенным двоеточием.

http://help.yandex.ru/webmaster/?id=996567#996574

Sergiys, любому сайту полезно прописать дерективу Host в robots.txt и редирект с www.

211

Talisman13

12 ноября 2010, 03:49

#3

Sergiys, наоборот необходимо склеивать без и с www. Подробнее об этом написано здесь Прочитав вы поймете что к чему.

Выберете для вас нужный вариант, то есть с или без www и склеивайте.

123

wormeus

12 ноября 2010, 04:25

#4

скорее всего ваш сайт уже склеен

[Удален]

12 ноября 2010, 09:38

#5

спасибо большое всем за ответы :)

Все что нужно знать о DDоS-атаках грамотному менеджеру

Курс биткоина превысил $50 тысяч