Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt : туплю, помогите

SI
На сайте с 01.06.2009
Offline
21
suzaIntruder
398

есть урлы следующих видов:

www.site.ru/cat/slon/aname/212

www.site.ru/cat/begemot/aname/311

www.site.ru/cat/kenguru/aname/178

Что написать, чтобы все урлы, где есть aname поисковиками игнорировались,

при этом www.site.ru/cat/kenguru/hvost были в индексе?

Disallow: /aname

этой строки хватит?

Сделав выбор, становишься беднее: теперь миллионы возможных дорог свелись к одному единственному пути.
FoxArt08
На сайте с 22.04.2008
Offline
65
FoxArt08
#1

Disallow: /*aname

Agressive_Pig
На сайте с 15.07.2008
Offline
98
Agressive_Pig
#2

Вроде как только яндекс с гуглом понимают символы подстановки. Imho правильнее:

User-agent: Yandex

Disallow: /*aname

User-agent: Googlebot

Disallow: /*aname

SI
На сайте с 01.06.2009
Offline
21
suzaIntruder
#3

сенькью отозвавшимся, еще один вопрос: как закрыть определенный диапазон нумерованных страниц?

например www.site.ru/cat/slon/hobot/1/........./10/ чтобы с первой по десятую были в индексе, а остальные, начиная с 11 и до бесконечности закрыть?

FoxArt08
На сайте с 22.04.2008
Offline
65
FoxArt08
#4

Allow: /cat/slon/hobot/1/

Allow: /cat/slon/hobot/2/

Allow: /cat/slon/hobot/3/

Allow: /cat/slon/hobot/4/

Allow: /cat/slon/hobot/5/

Allow: /cat/slon/hobot/6/

Allow: /cat/slon/hobot/7/

Allow: /cat/slon/hobot/8/

Allow: /cat/slon/hobot/9/

Allow: /cat/slon/hobot/10/

Disallow: /cat/slon/hobot/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий