Форум Поисковые системы Яндекс

Как Яндексу объяснить точно, где главный домен, а где зеркало?

N
На сайте с 21.11.2001
Offline
152
Nicon
1239

Собственно, subj, господа.

А то началось, на зеркало больше заходов чем на основной домен:(.

Это процесс временный, конечно, все я упорядочу. Вот только пока соптимизирую на основном домене страниц эдак 300, и тогда...:).

Не подскажите, плз, как указать-то?

K
На сайте с 31.01.2001
Offline
737
Kost
#1

Цитирую http://www.yandex.ru/info/webmaster2.html

Если у вас сервер Apache, то можно задать robots.txt с использованием директив SSI:

<!--#if expr=" \"${HTTP_HOST}\" != \"www.главное_имя.ru\" " -->

User-Agent: *

Disallow: /

<!--#endif -->

В этом файле роботу запрещен обход всех хостов, кроме

www.главное_имя.ru

В противном случае Яндекс выберет главное зеркало самостоятельно, а остальные имена будут запрещены к индексации.

Ну и надо, включить SSI для robots.txt. Проверено, работает.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
wolf
На сайте с 13.03.2001
Offline
1183
wolf
#2

Вот что говорит по этому поводу сам Яндекс:


Если Вы не согласны с тем, как наш робот выбрал Ваше основное зеркало, попробуйте исправить ситуацию самостоятельно. Есть несколько способов это сделать:
Физическое удаление "неправильных" зеркал.
При помощи robots.txt.
Общее правило таково: если индексирование какого-то сайта запрещено 'от корня' файлом robots.txt, то данный сайт не может быть выбран в качестве основного зеркала (так как он не может быть проиндексирован). Если Ваши хосты - виртуальные, создайте скрипт, который в зависимости от имени хоста выдает /robots.txt различного содержания.
Запретите индексацию главных страниц второстепенных зеркал и обход ссылок с них, добавив тег <meta name="robots" content="noindex,nofollow"> в область <head>..</head> их html-кода. Обратите внимание, что если Ваши зеркала являются виртуальными хостами на одном и том же сервере, то главную страницу Вам придется создавать с помощью скрипта, работающего на этом сервере, как и в случае с robots.txt.
Об использовании тегов noindex и nofollow можно прочитать в нашем разделе помощи.
Измените html-код Вашей главной страницы таким образом, чтобы все (или почти все) ссылки с нее вглубь Вашего сайта были абсолютными и вели на основное зеркало.
Многие бесплатные публичные хостинги (например, narod.ru) предоставляют пользователям сразу два доменных имени, два зеркала: третьего уровня (gazeta.narod.ru) и четвертого, с префиксом www (www.gazeta.narod.ru). В этом случае всегда индексируется только первый адрес, и перечисленные выше средства не работают.
В случае успешной реализации одного из вышеперечисленных советов Ваше основное зеркало будет автоматически изменено по мере обхода робота, обычно в течение 2 - 3 недель. Вы должны учесть, что при неблагоприятном стечении обстоятельств Ваши странички могут быть в течение некоторого времени вообще недоступны для поиска.
Внимание! Если на Вашем сайте проиндексировано достаточно много (более 1500) документов, рекомендуем проконсультироваться с сотрудником службы поддержки пользователей (addurl@yandex-team.ru) прежде, чем производить какие-либо действия.
Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
N
На сайте с 21.11.2001
Offline
152
Nicon
#3
Если у вас сервер Apache, то можно задать robots.txt с использованием директив SSI

Все гораздо хуже, сервер IIS. Одна директория работает на четыре доменных имени.

M
На сайте с 25.01.2001
Offline
57
melkov
#4

Для 

<meta name="robots" content="noindex,nofollow">
IIS'ного SSI вполне хватит.
M
На сайте с 25.01.2001
Offline
57
melkov
#5

Опс. Кажется, не хватит :)

Хватит VBScript

M
На сайте с 25.01.2001
Offline
57
melkov
#6

Nicon, и вообще господа с IIS. Почему после каждого моего предложения использовать VBScript для работы с зеркалами вы куда-то испаряетесь? Ну нету у меня IIS'а..., не могу сам довести эксперимент до конца. Помогите себе и другим (а там уже и в FAQ можно добавить).

Включите VBScript для главной страницы (или корневой директории). 


<head>

......

<% Srvname = Request.ServerVariables("SERVER_NAME") 

If Srvname != "www.YourServerName.ru" Then 

%><meta name="robots" content="noindex,nofollow"> <% End If %> 

...

</head>
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий