Вопрос по robots.txt

Александр
На сайте с 03.04.2009
Offline
62
392

Здравствуйте уважаемые!

Давно по неопытности создал сайт с неправильной структурой. Теперь есть желание избавиться от дублей и закрыть некоторые странички в роботсе.

Подскажите как закрыть такие странички, так чтоб закрылись только лишь они:

site.com/catalog

site.com/catalog/

Z-Style
На сайте с 18.03.2010
Offline
185
#1

Disallow: /catalog -закроет все что начинается с "catalog"

Disallow: /catalog/ -закроет все что находится в дириктории "каталог"

Чтобы закрыть только страницу site.com/catalog/ - используйте мета тег, из роботса не получится.

<meta name="robots" content="noindex" /> :)

Александр
На сайте с 03.04.2009
Offline
62
#2

Был бы html вопросов бы не было...

А на CMS как сделать то?

kimberlit
На сайте с 13.03.2007
Offline
370
#3
Silver_UA:
Был бы html вопросов бы не было...

А на CMS как сделать то?

Гы... а какая связь?

kimberlit добавил 14.05.2010 в 13:39

Z-Style:

Чтобы закрыть только страницу site.com/catalog/ - используйте мета тег, из роботса не получится.

А так:

Disallow: /catalog/$

Александр
На сайте с 03.04.2009
Offline
62
#4
kimberlit:
Гы... а какая связь?

Если сайт на голом html, то прописал на нужно странице мета-тег и все ок. А в CMS эта страница является категорией, создано в админке. Как ей добавить мета-тег?

kimberlit:

А так:
Disallow: /catalog/$

Это уже интересно. Такая запись закроет лишь ее (site.com/calalog/)?

Если да, то Disallow: /catalog$ закроет site.com/catalog ?

kimberlit
На сайте с 13.03.2007
Offline
370
#5
Silver_UA:
Если да, то Disallow: /catalog$ закроет site.com/catalog

Вот в помощь ссылка - пункт 5

А по cms - программист вам в помощь...

Александр
На сайте с 03.04.2009
Offline
62
#6
kimberlit:
Вот в помощь ссылка - пункт 5

Спасибо за ссылочку. Но Яша как то не до конца обьяснил. Или я недопонял...

Исходя из того, как поняли Вы, скажите:

Disallow: /catalog$ закроет site.com/catalog , а site.com/catalog/produkt1.html и т.д. не закроет?

Со слешем на конце аналогично, верно?

kimberlit
На сайте с 13.03.2007
Offline
370
#7
Silver_UA:
Disallow: /catalog$ закроет site.com/catalog , а site.com/catalog/produkt1.html и т.д. не закроет?
Со слешем на конце аналогично, верно?

Да.........

Александр
На сайте с 03.04.2009
Offline
62
#8

Спасибо за советы!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий