Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос на счет робот тхт.

B
На сайте с 28.02.2010
Offline
45
baznet
580

есть два одинаковых сайта

1. bystik.myinsales

2. bystie

если я что редактурую на однов это автоматически появляется в другом.

вставляю в робот тхт

User-agent: *

Disallow: /

Host: www.bystie.ru

смотрю в вебмастере яндекса

на второй сайт было загружено 200 стр и поиске 156 стр.

сегодня смотрю в поиске 1 стр загружено 1 стр.

немогу понять почему? подскажите

K
На сайте с 31.01.2001
Offline
737
Kost
#1

Вы запретили индексацию всего сайта, даже копия главной страницы не осталась в поисковках, только URL.

А что хотели сделать?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
B
На сайте с 28.02.2010
Offline
45
baznet
#2
ivan_menshikov:
весь контент находящийся за "/" вы запретили к индексации :( а что еще то ждать если не исключения их из индекса?

а что правельно написать надо чтоб запретить индексацию зеркала byctik.myinsales

Dexter88
На сайте с 06.10.2006
Offline
131
Dexter88
#3

Ну во первых у главного сайта должно быть вот так:

User-agent: *

Disallow: (это значит, что разрешен к индексации)

Host: www.bystie.ru (это главное зеркало)

А вот поддомен можете закрывать от индексации и указать главное зеркало основной домен 2 уровеня:

User-agent: *

Disallow: / (это значит запрещен к индексации полностью)

Host: www.bystie.ru (это главное зеркало)

Не очень понял, что вы хотите добиться в итоге, но если, вам надо избавиться от сайт зеркала на домене 3 уровня, то примерно так как я описал

Drive-Tube.Ru - Все о твоем настоящем и будущем авто! (http://drive-tube.ru)
K
На сайте с 07.12.2009
Offline
156
Kasperzzz
#4

baznet, я так понял вы этот пример с какого то сплога брали.

Копируйте в robots это:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Sitemap: http://site.ru/sitemap.xml
B
На сайте с 28.02.2010
Offline
45
baznet
#5
Dexter88:
Ну во первых у главного сайта должно быть вот так:

User-agent: *
Disallow: (это значит, что разрешен к индексации)
Host: www.bystie.ru (это главное зеркало)

А вот поддомен можете закрывать от индексации и указать главное зеркало основной домен 2 уровеня:

User-agent: *
Disallow: / (это значит запрещен к индексации полностью)
Host: www.bystie.ru (это главное зеркало)

Не очень понял, что вы хотите добиться в итоге, но если, вам надо избавиться от сайт зеркала на домене 3 уровня, то примерно так как я описал

А если вот так написать сайт будет проиндексирован?

User-Agent: *

Disallow: /cart_items

Host: www.bystie.ru

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий