Форум Практика оптимизации Общие вопросы оптимизации

Robots.txt - есть вопрос.

S
На сайте с 24.01.2009
Offline
73
sikth
396

Есть вопрос по robots.txt.

На моем сайте есть страницы вида:

мой_сайт/рубрика1/

мой_сайт/рубрика2/

....

мой сайт/рубрика500/

а в каждой рубрике есть разные материалы вида:

мой_сайт/рубрика1/материал1

мой_сайт/рубрика1/материал2

...

мой_сайт/рубрика500/материал20

Как будет правильнее прописать в robots.txt запрет на страницы всех материалов, но чтобы страницы всех рубрик индексировались, то есть:

мой_сайт/рубрика1/ - разрешить индексацию

мой_сайт/рубрика2/ - разрешить индексацию

мой_сайт/рубрика1/материал1 - запретить индексацию

мой_сайт/рубрика1/материал2 - запретить индексацию

мой_сайт/рубрика2/материал1 - запретить индексацию

У меня в голове вертится следующая строка:

Disallow: /*/*

но я не уверен, что правильно.

Y
На сайте с 29.11.2008
Offline
81
yanavit
#1

добавьте сайт в Яндекс Вебмастер и встроенным инструментарием протестируйте все свои предположения:

http://webmaster.yandex.ru/site/robots.xml

M
На сайте с 25.03.2009
Offline
44
mlsha
#2
sikth:
Есть вопрос по robots.txt.
Как будет правильнее прописать в robots.txt запрет на страницы всех материалов, но чтобы страницы всех рубрик индексировались, то есть:
мой_сайт/рубрика1/ - разрешить индексацию
мой_сайт/рубрика2/ - разрешить индексацию
мой_сайт/рубрика1/материал1 - запретить индексацию
мой_сайт/рубрика1/материал2 - запретить индексацию
мой_сайт/рубрика2/материал1 - запретить индексацию
Disallow: /*/*

ну так вот...

User-Agent: *

Allow: /

Disallow: мой_сайт/рубрика1/*

Disallow: мой_сайт/рубрика2/*

...

Disallow: мой_сайт/рубрика12545848484/*

индексируем всё, кроме кроме того, что лежит в рубриках...

для всех роботов без исключения, у директив Disallow на конце можно не писать *, она по умолчанию подразумевается...

http://help.yandex.ru/webmaster/?id=996567 - вот это например почитайте

/ru/forum/comment/1592771 () =)
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
S
На сайте с 24.01.2009
Offline
73
sikth
#3
yanavit:
добавьте сайт в Яндекс Вебмастер и встроенным инструментарием протестируйте все свои предположения:
http://webmaster.yandex.ru/site/robots.xml

Пока что не хочу добавлять его в вебмастер, ибо контент не весь добавлен.

mlsha:
ну так вот...
User-Agent: *
Allow: /
Disallow: мой_сайт/рубрика1/*
Disallow: мой_сайт/рубрика2/*
...
Disallow: мой_сайт/рубрика12545848484/*
индексируем всё, кроме кроме того, что лежит в рубриках...
для всех роботов без исключения, у директив Disallow на конце можно не писать *, она по умолчанию подразумевается...
http://help.yandex.ru/webmaster/?id=996567 - вот это например почитайте

Это я уже читал, и другие статьи по роботс. То есть единственный вариант это прописать 12545848484 строчек в роботс?

---------- Добавлено 09.02.2012 в 12:06 ----------

Нашел решение:

Disallow: /*/*.html

а такого вида прячет и материалы и рубрики:

Disallow: /*/*

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий