Форум Практика оптимизации Doorways & Cloaking

Как запретить индексацию?

M
На сайте с 21.08.2001
Offline
7
Mon
2026

Просьба о помощи! Суть проблемы: существует сайт, который имеет 2 различных доменных имени(ссылающихся на один сайт). Физически сайт 1 и находиться на одном сервере. Как запретить индексацию по одному из имен. Если этого не сделать, то возможно, робот сам выберет главный домен, что не желательно, а хуже того вообще не проиндексирует, или проиндексирует разные части сайта по разным хостам. Robots.txt не предусматривает выделение главного хоста из нескольких, верно? Заранее спасибо.

AiK
На сайте с 27.10.2000
Offline
257
AiK
#1

для этого необходимо воспользоваться mod_rewrite, чтобы при запросе

www.domain1.ru/robots.txt и http://domain2/robots.txt поисковик (впрочем как и любой другой посетитель) получал различные robots.txt.

PS: если вебсервер -IIS, то как быть не знаю, но идея остаётся той же.

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
LM
На сайте с 30.11.2001
Offline
71
LiM
#2

Другой вариант от разработчиков Яндекса:

http://www.yandex.ru/info/webmaster2.html#virtual

С уважением, Андрей Хроленок. Загляни в FAQ по оптимизации и продвижению сайтов (http://www.seoman.ru/FAQ/) Анализатор страниц сайтов (http://www.seoman.ru/analizer/)
M
На сайте с 21.08.2001
Offline
7
Mon
#3

Спасибо за советы. Сервер IIS. Если поставить редирект с временем перехода=0 с того хоста, который нужно запретить для индексации. Как отреагируют поисковики? Индексировать не будут, а по ссылке пойдут индексировать другой хост, тоже самое и с посетителями, верно? Какие возможные проблемы могут возникнутьь с SE. Еще раз спасибо.

Можно ли в robots.txt в строке Disallow просто написать имя запрещенного хоста и не заморачиваться? Disallow: /www.site_name.ru

Поисковик увидит, что его индексировать нельзя и проиндексирует другой хост, который я не запрешал. Или так нельзя?

К сожалению, я не могу эксперементировать - сайт корпоративный.

Google о крупных файлах 8 развенчанных SEO-мифов. Часть Блокировка 25 порта провайдером
K
На сайте с 31.01.2001
Offline
737
Kost
#4

Страницу с редиректом Яндекс выкинет из индекса, пойдет индексировать ту, куда его перекинули.

Насчет robots.txt - посмотри стандарты,

Disallow: /www.site_name.ru

так нельзя. C IIS не возился, но по-моему поисковики зеркала вообще не любят. Хотя Апорту - все равно, он все съест. А советы - см. выше.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Редирект устаревших беклинков интернет-магазина: Google Updates - апдейты Скрыть от всех лишний
[Удален]
#5

А если вместо robots.txt вставлять на зеркальных сайтах <noindex> ?

Переадресовка не очень подходит. Фокус в том, что часть сайта (базы данных) формируются в зависимости от адреса домена третьего уровня

например:

ochakovo.pivo.nu - прайс по очаковскому пиву

baltika.pivo.nu - прайс по Балтике

, а остальная (статьи, форумы и т.п.) дублируется.

Прим. Тот же геморрой - IIS

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
[Удален]
#6

Фрмирование robots.txt на IIS здесь http://forum.yandex.ru/index.xhtml?id_note_forum=1001080

Но вопрос про <noindex> не снят.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий