Robots.txt - определение главного зеркала

mitru
На сайте с 24.07.2003
Offline
54
965

Господа, подскажите ,пожалуйста, для того, чтобы определить главное зеркало, необходимо составлять robots.txt с указанием

User Agent: *

Host: www.glavnoe-zerkalo.ru

только для второстепенных зеркал или для всех? И как себя поведет Яндекс, если для www.glavnoe-zerkalo.ru будет написано то же самое?

В этой теме (3-ий пост сверху) говорится, что

User-Agent: Yandex

Disallow: /

Host: www.myhost.ru

равняется:

User-Agent: Yandex

Disallow: /

Disallow: /

(2 раза)

Вот и хотела уточнить, может ли в данном случае

Host: www.glavnoe-zerkalo.ru

быть принято за

Disallow: /?

и главное зеркало тем самым будет запрещено к индексированию?

Может быть я что-то не правильно поняла.

На http://www.yandex.ru/info/webmaster2.html#robots такой информации нет.

С уважением, Митронина Елена.
C
На сайте с 19.09.2001
Offline
120
#1
User Agent: *
Host: www.glavnoe-zerkalo.ru

Так неправильно, хотя бы одна строка с Disallow должна быть.

Вот и хотела уточнить, может ли в данном случае
Host: www.glavnoe-zerkalo.ru
быть принято за
Disallow: /?
и главное зеркало тем самым будет запрещено к индексированию?

Подразумевается, что Host: www.glavnoe-zerkalo.ru можно приравнять к Disallow: / для неосновных зеркал.

AiK недавно писал, что секция с директивой Host, предназначенная для всех роботов, некоторыми роботами может игнорироваться, так что лучше употреблять Host только в секции для Яндекса.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
mitru
На сайте с 24.07.2003
Offline
54
#2

Cherny, то есть должно быть написано:

User Agent: *

Disallow: /

Host: www.glavnoe-gerkalo.ru

А тот вариант, который я написала, Яндексом будет игнорироваться? Или другими поисковиками? Меня просто на данный момент интересует только Яндекс. И, если я правильно поняла, главное зеркало индексироваться будет, независимо от того, что есть robots.txt

C
На сайте с 19.09.2001
Offline
120
#3

Правильно так:


User-agent: Yandex
Disallow:
Host: www.glavnoe-gerkalo.ru

Главное зеркало Яндексом будет индексироваться полностью, остальные индексироваться не будут, с Гуглем, рамблером и прочими разбираться надо будет отдельно

I
На сайте с 08.05.2003
Offline
151
#4
Как писал Cherny
Правильно так:

User-agent: Yandex
Disallow:
Host: www.glavnoe-gerkalo.ru

Главное зеркало Яндексом будет индексироваться полностью, остальные индексироваться не будут, с Гуглем, рамблером и прочими разбираться надо будет отдельно

А ссылки на неглавные зеркала учитываться будут?

С уважением, Иванов Павел. B2Basket.ru - Сервис автоматизации размещения на всех популярных маркетплейсах (http://b2basket.ru)
C
На сайте с 19.09.2001
Offline
120
#5
А ссылки на неглавные зеркала учитываться будут?

Яндекс говорит, что будут, у меня последний месяц имеются некоторые сомнения, сейчас проверяю...

mitru
На сайте с 24.07.2003
Offline
54
#6

Cherny, а вообще по правилам такая конструкция пишется только на второстепенных зеркалах, или в том числе и на главном?

mitru
На сайте с 24.07.2003
Offline
54
#7
Как писал Cherny

Яндекс говорит, что будут, у меня последний месяц имеются некоторые сомнения, сейчас проверяю...

Учитываются. Может, конечно, "вес" они имеют меньший.

Поправочка: с конструкцией не знаю, я имела в виду, если Яндекс сам склеит зеркала.

C
На сайте с 19.09.2001
Offline
120
#8

Без разницы.

Как вы, однако, дружно на меня насели! ;)

I
На сайте с 08.05.2003
Offline
151
#9
Как писал mitru

Учитываются. Может, конечно, "вес" они имеют меньший.

Я имею ввиду именно при такой конструкции в роботсе.

Как вы, однако, дружно на меня насели!

Дык это ... семейный подряд :D

C
На сайте с 19.09.2001
Offline
120
#10
Я имею ввиду именно при такой конструкции в роботсе.

После склейки директива Host на учет ссылок влиять не должна, а то что же иначе получится - будем иметь два варианта склейки?

Учитываются. Может, конечно, "вес" они имеют меньший.

Проверялось?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий