самый грамотный способ закрыть зеркало

Если есть возможность, то для domen.site.ru положить свой robots.txt, в котором написать следующее:

User-agent: *

Disallow: /

Host: www.site.ru

В этом случае Яндекс приклеит domen.site.ru к www.site.ru, а остальные поисковики его просто не будут индексировать.

Это не соответствует действительности. Некоторые поисковики абсолютно справедливо будут игнорировать директиву Disallow: / как размещённую в неверно оформленной секции. Проверено на личном поыте. Поэтому правильнее составить для зеркала такой robots.txt:

User-agent: *

Disallow: /



User-agent: Yandex

Disallow: /

Host: www.site.ru

Cherny, AiK, спасибо большое за ответы.

Но оказывается домен и поддомен лежат на одном хостинге, и используют одну базу, правда в разных папках. Домен в папке htdocs, а поддомен в отдельной папке. Будет ли в этом случае верным заливать и туда и туда разный robots.txt?

Уж очень не хочется из-за этого потом проблемы с индексацией получить.

Блин. Мой склероз меня подводит :( Деректива Host работает только в том случае, если robots.txt идентичен на обоих сайтах.

Иначе, например, вот такой robots.txt

http://www.h12.ru/robots.txt

User-agent: Yandex

Disallow:

Host: www.holm.ru



User-agent: *

Disallow:

мог бы повлечь за собой склеивание всех поддоменов у хостера. Правда скорее всего зеркальщик, не найдя соответствия между сайтами, просто игнорировал бы директиву Host.

Так что если robots.txt разные, то директива Host не нужна - просто домен закрывается от индексации, если нужно конечно.

А если они одинаковые, то в моём примере следует оставить пустой директиву Disallow (ну или запрещать только то, что реально нужно всем запретить).

реально нужно запретить весть домен третьего уровня - он является точной копией основного сайта, только другим по дизайну.

в качестве примера:

http://www.rambler.ru/

http://classic.rambler.ru/ Только если у Рамблера это всего лишь копия главной, то у меня весь сайт.

Что-то я них там не увидел robots.txt на поддомене?

Такс, вот еще один пример:

http://www.inosmi.ru/

http://www.inosmi.ru/text/

здесь они не другой дизайн, а тектовую версию сделали, и не через поддомен, а через директиву /text/

robots.txt я у них опять таки не вижу.

Так это ж один домен

Закрыть домен от индексации (роботсом). Не претендую на жуткую грамотность, за то это самый простой способ. :)

Удачи.

AiK, спасибо за замечания.

Ceres, если сайт на поддомене отличается дизайном, то лучше просто запретить его индексировать, без использования директивы Host

В общем мы сделали вот так - robots.txt на поддомене

User-agent: Yandex

Disallow:

Host: www.site.ru

User-agent: *

Disallow:

у меня два домена они являются полными зеркалами так как припаркованы к одной и той же папке

site1.ru и site2.ru

вот что именно я должен прописать в robots.txt чтобы для всех роботов основным сайтом являлся site1.ru

а то в некоторых поисковиках проиндексирован второй, а в некоторых первый :-(