Форум Поисковые системы Яндекс

Заркало и его индексация

Olya
На сайте с 03.12.2003
Offline
120
Olya
833

Здравствуйте. Подскажите, пожалуйста как правильно прописать файл robots.txt, чтобы запретить индексацию сайта, который является зеркалом. Проблема состоит в том, что физически сайт один, но адреса два (один из которых и нужно запретить к индексации).

Диол :)
C
На сайте с 19.09.2001
Offline
120
Cherny
#1

В случае с Яндексом, воспользуйтесь директивой Host в robots.txt, если интересуют все остальные, то robots.txt следует формировать динамически.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
Olya
На сайте с 03.12.2003
Offline
120
Olya
#2
Как писал Cherny
В случае с Яндексом, воспользуйтесь директивой Host в robots.txt, если интересуют все остальные, то robots.txt следует формировать динамически.

Уже попробовала, написала

User-Agent: *

Disallow: *

Host: url_glavnogo_zercala

В результате оба сайта были исключены из Yandex. Когда убрала файл robots.txt с таким текстом, то автоматически был выбран не тот сайт в качестве основного. Что делать?

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
Lisa
На сайте с 31.01.2002
Offline
438
Lisa
#3

Мне помогло сменить зеркало то, что я все навигационные ссылки на всех страницах поставила абсолютными и ведущими на главное зеркало. Доступные моему влиянию внешние ссылки - тоже ведут на главное зеркало.

Digital Development (https://ddplanet.ru/)
Olya
На сайте с 03.12.2003
Offline
120
Olya
#4
Как писал Lisa
Мне помогло сменить зеркало то, что я все навигационные ссылки на всех страницах поставила абсолютными и ведущими на главное зеркало. Доступные моему влиянию внешние ссылки - тоже ведут на главное зеркало.

Это сделано, но не помогает.

C
На сайте с 19.09.2001
Offline
120
Cherny
#5
User-Agent: *
Disallow: *
Host: url_glavnogo_zercala

Файл составлен неверно: Disallow должен начинаться с / или быть пустым, такая запись игнорируется и поведение системы, в общем случае, предсказать сложно.

Olya
На сайте с 03.12.2003
Offline
120
Olya
#6
Как писал Cherny

Файл составлен неверно: Disallow должен начинаться с / или быть пустым, такая запись игнорируется и поведение системы, в общем случае, предсказать сложно.

Согласна, на самом деле было написано

User-Agent: *

Disallow: /

Host: url_glavnogo_zercala

Сейчас я написала

User-Agent: *

Host: url_glavnogo_zercala

может поможет?

wolf
На сайте с 13.03.2001
Offline
1183
wolf
#7
Согласна, на самом деле было написано
User-Agent: *
Disallow: /
Host: url_glavnogo_zercala

Так Вы всё запрещаете индексировать. Надо так:

User-Agent: *

Disallow:

Host: url_glavnogo_zercala

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий