Robots.txt

AStr.
На сайте с 05.11.2004
Offline
133
763

Сайт вылетел из базы Яндекса.

Раньше основное зеркало было определено Я как сайт.ru (без www) хотя все ссылки на него с www

Сделал сейчас такой robots.txt и добавил его в www.сайт.ru

User-Agent: *

Host: www.сайт.ru

При проверке через http://kako.yandex.ru/cgi-bin/test-robots если вводить сайт.ru

то выдается:

"Запрещена индексация всех URL, начинающихся с указанных префиксов:

/

Индексация сервера сайт.ru:80 запрещена полностью."

При в аддурл www.сайт.ru выдается

"Адрес http://www.сайт.ru может быть внесен в нашу базу данных

(и, соответственно, проиндексирован) по адресу http://сайт.ru/

Добавленный вами сайт не индексируется, так как является «зеркалом»

http://сайт.ru/."

Получается robots.txt не проиндексируется, т.к. он находится в www.сайт.ru/robots.txt ?

Как мне поместить robots.txt в сайт.ru ? через ftp в какую папку заливать?

Недвижимость в Испании у моря, здесь 325 дней в году светит солнце (https://best-espana.com/)
AStr.
На сайте с 05.11.2004
Offline
133
#1

наверное добавить в эддурл http://сайт.ru/ и по мере обхода роботом главным зеркалом будет http://www.сайт.ru/ и сайт проиндексируется?

C
На сайте с 19.09.2001
Offline
120
#2

Главным зеркалом будет www.site.ru, дождитесь индексатора и зеркальщика.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
E
На сайте с 25.02.2004
Offline
6
#3
Как писал AStr.
При в аддурл www.сайт.ru выдается
"Адрес http://www.сайт.ru может быть внесен в нашу базу данных
(и, соответственно, проиндексирован) по адресу http://сайт.ru/
Добавленный вами сайт не индексируется, так как является «зеркалом»
http://сайт.ru/."

Если прекращение работы сайта на неопределенное время (возможно небольшое) не очень критично попробуйте удалить из базы Я. ссылку на главную страницу сайта без www. Это можно сделать тут http://webmaster.yandex.ru/delurl.xml

А потом добавить уже с www.

Хотя, возможно, удалять прийдется из базы индексов обе страницы

AStr.
На сайте с 05.11.2004
Offline
133
#4
Как писал Elff

попробуйте удалить из базы Я

если бы он был в базе, то этого топика бы не было.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий