Закрыть от индексации только гл.страницу

_Dizerd_
На сайте с 21.12.2011
Offline
76
475

Добрый день.

У меня есть сайт. И такой вопрос.. как правильно составить robots.txt чтобы к примеру site/news/ весело в индексе (был доступен для индексации) а корень сайта site.ru запретить к индексации.. как такое возможно организовать?

Azazelkin
На сайте с 13.06.2010
Offline
101
#1

User-agent: Yandex

Allow: /

Disallow: /site

Allow: /site/news/

--

http://help.yandex.ru/webmaster/?id=996567

подпезь
_Dizerd_
На сайте с 21.12.2011
Offline
76
#2
Azazelkin:
User-agent: Yandex
Allow: /
Disallow: /site
Allow: /site/news/
--
http://help.yandex.ru/webmaster/?id=996567

Вот смотрите.. у меня на сайте страницы идут так.. ru/news , ru/info.. я правельно же составил:

User-agent: Yandex

Allow: /ru

Disallow: /

тоесть разрешить индексировать все что начинается на /ru..

Azazelkin
На сайте с 13.06.2010
Offline
101
#3
_Dizerd_:
Вот смотрите.. у меня на сайте страницы идут так.. ru/news , ru/info.. я правельно же составил:

User-agent: Yandex
Allow: /ru
Disallow: /

тоесть разрешить индексировать все что начинается на /ru..

правильно )

bon_eur
На сайте с 09.06.2012
Offline
40
#4
_Dizerd_:
а корень сайта site.ru запретить к индексации

Я бы сделал строго так:

User-agent: *

Disallow: /$

Яндекс в хелпе пишет про такой синтаксис.

А директиву Allow вообще стараюсь не использовать, несколько раз были проблемы из-за нее. Файл robots.txt он вообще для запрещения, а не для разрешения ;)

_Dizerd_
На сайте с 21.12.2011
Offline
76
#5
bon_eur:
Я бы сделал строго так:
User-agent: *

Disallow: /$


Яндекс в хелпе пишет про такой синтаксис.

А директиву Allow вообще стараюсь не использовать, несколько раз были проблемы из-за нее. Файл robots.txt он вообще для запрещения, а не для разрешения ;)

Хмм.. Инетерсная вещь.. В вашем примере получается заперещно индексировать корень / а все что после / (/ru и т д ) можно.

Спасибо, буду пробывать

---------- Добавлено 23.06.2012 в 03:02 ----------

Еще 1 вопрос, этот символ $ работает в гугле?

bon_eur
На сайте с 09.06.2012
Offline
40
#6
_Dizerd_:
Еще 1 вопрос, этот символ $ работает в гугле?

Да. Посмотрите хоть хелп, хоть собственный роботс гугла ;)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий