"Host" в файле robots.txt - пропадание сайта из Яндекса

12
C
На сайте с 19.09.2001
Offline
120
#11

У Вас сервер настроен так, что barrens.ru является алиасом www.barrens.ru, т.е. все запросы документов на домене без www будут редиректиться на домен с www, а в robots.txt Вы запретили индексацию www.barrens.ru, как зеркало barrens.ru. В этом случае робот запутается и сайт из базы вылетит полностью.

В вашем случае можно директиву Host совсем убрать, либо прописать там домен с www:

Host: www.barrens.ru

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
C
На сайте с 19.09.2001
Offline
120
#12

semibratov, в Вашем случае надо дождаться апдейта, тогда все проиндексированные Яндексом страницы сайта www.axitel.ru будут выдаваться с новым именем домена, ничего Яндекс потерять не должен.

WG
На сайте с 17.05.2004
Offline
6
#13
Как писал Cherny
У Вас сервер настроен так, что barrens.ru является алиасом www.barrens.ru, т.е. все запросы документов на домене без www будут редиректиться на домен с www, а в robots.txt Вы запретили индексацию www.barrens.ru, как зеркало barrens.ru. В этом случае робот запутается и сайт из базы вылетит полностью.
В вашем случае можно директиву Host совсем убрать, либо прописать там домен с www:
Host: www.barrens.ru

Большое спасибо за консультацию. Она очень многое прояснила. Единственное что смущает, это то, что после смены, яндекс выдает те же результаты запрещения к индексации, видимо нужно дождаться пока придет индексатор и все возьмет заново.

Специализация: компрессоры
M
На сайте с 16.01.2003
Offline
129
#14

А вот Рамблеру, похоже, все по уху, что касается Host - у меня он даже главную страницу выдает запрещенную (http://xxx.ru), а в роботс ведь все прописано:

User-agent: *

Disallow: /search

Disallow: /SendMail

Host: www.xxx.ru

midian777
На сайте с 07.07.2004
Offline
108
#15

Host: - дериктива исключительно для Яндекса.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий