Форум Сайтостроение Веб-строительство

Robots.txt - как закрыть каталог, но оставить подкаталоги

V
На сайте с 31.12.2008
Offline
56
Veld
843

Доброго времени суток

Можно так сделать?

К примеру индексировать site.ru/cat1/cat2/cat3/text

Но не индексировать

site.ru/cat1/

site.ru/cat1/cat2

Спасибо

A
На сайте с 19.07.2010
Offline
130
admak
#1

проще на нужных страницах в секции HEAD написать 

<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW" />

т.к. при такой постановке задачи с robots.txt можно больше дров наломать..

.............
ZoomY
На сайте с 07.11.2008
Offline
165
ZoomY
#2 

User-agent: Yandex

Allow: /cat1/cat2/cat3/text

Disallow: /cat1/

ZoomY добавил 03.11.2010 в 13:34

admak:
проще на нужных страницах в секции HEAD написать 

<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW" />


т.к. при такой постановке задачи с robots.txt можно больше дров наломать..

Ага. Вместо двух строчек в robots.txt проще редактировать кучу страниц.

Размещу ваши статьи на сайтах с тИЦ до 1400 по 5$ (/ru/forum/846111) Сейчас многие ищут хостинг за пределами России. Ukrnames - один из лучших вариантов: (http://ukrnames.com/?ref_id=114) и лидер рынка, и привычно, и по-русски, и вне юрисдикции РФ.
V
На сайте с 31.12.2008
Offline
56
Veld
#3

Спасибо!

А дров не наломаешь - всегда можно проверить через веб-мастер что индексируется, а что нет.

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#4

Или так:

Disallow: /cat1/$

ZoomY
На сайте с 07.11.2008
Offline
165
ZoomY
#5

☝ Хозяйке на заметку: http://help.yandex.ru/webmaster/?id=996567

A
На сайте с 19.07.2010
Offline
130
admak
#6
ZoomY:
Ага. Вместо двух строчек в robots.txt проще редактировать кучу страниц.

каждый судит по своему функционалу :)

для меня - это одна строка с условием в темплейте.

V
На сайте с 31.12.2008
Offline
56
Veld
#7
kimberlit:
Или так:
Disallow: /cat1/$

А за это отдельное спасибо, как-то упустил этот символ из виду

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий