Вопрос по Robots.txt

S8
На сайте с 11.07.2006
Offline
86
317

Вот что прописано в Robots.txt

User-agent: *

Disallow: /links/

Host: site.ru

Получается что по яндексу запрешена индексация www.site.ru. Что надо прописать чтобы была разрешина индексация www.site.ru и site.ru? И чтоб site.ru был главным хостом.

[Удален]
#1
sidor80:
Получается что по яндексу запрешена индексация www.site.ru. Что надо прописать чтобы была разрешина индексация www.site.ru и site.ru? И чтоб site.ru был главным хостом.

Директиву хост нужно прописывать для бота Яндекса.

Это не запрещает индексацию, а лишь показывает, какое из зеркал считать главным для сайта.

S8
На сайте с 11.07.2006
Offline
86
#2
Kimi:
Директиву хост нужно прописывать для бота Яндекса.
Это не запрещает индексацию, а лишь показывает, какое из зеркал считать главным для сайта.

Тогда правильно будет так?

User-agent: *

Disallow: /links/

User-agent: Yandex

Host: site.ru

C
На сайте с 19.09.2001
Offline
120
#3

sidor80, Вы привели неправильный пример, надо хотя бы одна строка с Disallow в каждой записи.

Чтобы разрешить индексацию сайта роботом Яндекса по адресам и с www и без, то надо просто удалить строку с Host, тогда робот определит главное зеркало по своему усмотрению и не факт, что именно так, как надо Вам.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий