Форум Практика оптимизации Любые вопросы от новичков по оптимизации

site.ru/x/y подскажите как закрыть "y" в robots.txt

hasugosu
На сайте с 09.03.2006
Offline
132
hasugosu
568

Здравствуйте, у меня есть страницы

http://agrealt.ru/metro/aviamotornaya

http://agrealt.ru/metro/sokol итп

как мне оставить их в индексе, закрыв, при этом, страницы

http://agrealt.ru/metro/aviamotornaya/1

http://agrealt.ru/metro/sokol/1

http://agrealt.ru/metro/aviamotornaya/2

http://agrealt.ru/metro/sokol/2

итп ?

Яндекс пишет

Если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке. Примеры, если:

User-agent: Yandex

Allow: /cgi-bin

Disallow: /

# запрещает скачивать все, кроме страниц

# начинающихся с '/cgi-bin'

Получается, нужно прописать вот так

Allow: /metro/aviamotornaya/

Disallow: /metro/aviamotornaya

Или нет ?

Пожалуйста помогите, уже всю голову сломал ((

S
На сайте с 28.10.2005
Offline
319
semenov
#1 


User-agent: Yandex

Disallow: /*/1

Disallow: /*/2
hasugosu
На сайте с 09.03.2006
Offline
132
hasugosu
#2

semenov, спасибо, действительно !

У меня таких страниц много

/1

/2

...

/200

Вопрос:

Disallow: /*/2

запретит страницы:

http://agrealt.ru/metro/aviamotornaya/2

http://agrealt.ru/metro/aviamotornaya/20

http://agrealt.ru/metro/aviamotornaya/200

или только http://agrealt.ru/metro/aviamotornaya/2 ?

Если только первую, то придется прописывать

Disallow: /*/1

Disallow: /*/2

...

Disallow: /*/200

oleg1979
На сайте с 23.07.2010
Offline
187
oleg1979
#3
hasugosu:



Disallow: /*/1*
Disallow: /*/2*
...
Disallow: /*/9*

както так.

Консультирую по всем вопросам, связанным с запуском интернет-магазина
hasugosu
На сайте с 09.03.2006
Offline
132
hasugosu
#4

Ребят спасибо.

По ходу реально так ! :)

hasugosu добавил 24.07.2010 в 14:55

Продолжаю выносить мозг.

А как закрыть от индексации все кроме главной ?

Allow: /$

Disallow: /*

Так ?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий