robots.txt и поддомены

A
На сайте с 26.01.2009
Offline
6
2301

Добрый день.

Есть сайт. Раньше он был без www. Было решено сделать его с www.

Прописали 301 редирект в .htaccess.

В robots.txt для Yandex сделали:

Host: www.site

Теперь на сайте появились поддомены. Надо ли мне для каждого поддомена делать свой robots.txt и прописывать Host: subdomain.site?

Или я таки неправильно понимаю значение директивы Host :)

pchol123
На сайте с 13.05.2007
Offline
239
#1

И пользуясь случаем, спрошу - можно ли имея доступ к роботсу основного домена, закрыть от индексации ВСЕ возможные поддомены относящиеся к этому сайту? Чтобы просто тупо прописать загагулинку, и прощайте поддомены...

А то из-за дырявости некоторых хостеров, на сайте вылезают доры на поддоменах.

Вариант "сменить хостера" не интересует.

Впринципе я догадываюсь что такой загагулинки нет, но попробовать стоит =)

сеть трастовых сайтов (http://articles.sape.ru/r.5b6641ce4e.php)
S
На сайте с 28.10.2005
Offline
313
#2
alphadp:

Теперь на сайте появились поддомены. Надо ли мне для каждого поддомена делать свой robots.txt и прописывать Host: subdomain.site?

Надо

pchol123:
И пользуясь случаем, спрошу - можно ли имея доступ к роботсу основного домена, закрыть от индексации ВСЕ возможные поддомены относящиеся к этому сайту? Чтобы просто тупо прописать загагулинку, и прощайте поддомены...
А то из-за дырявости некоторых хостеров, на сайте вылезают доры на поддоменах.
Вариант "сменить хостера" не интересует.

Впринципе я догадываюсь что такой загагулинки нет, но попробовать стоит =)

Через htaccess выдавать разный роботс в зависимости от Host

Или роботс формировать скриптом

A
На сайте с 26.01.2009
Offline
6
#3
semenov:
Надо

А если убрать из "основного" robots.txt директиву Host тогда тоже надо? Я просто смотрю что очень многих сайтах robots.txt нет вообще и живут люди :)

зы. Просто после введения поддоменов мы почти потеряли трафик из Яндекса, хотя Гугловый остался на прежнем уровне :(

S
На сайте с 28.10.2005
Offline
313
#4

Значит что-то накосячили или совпадение

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий