Опыт: запрет индексации в robots.txt

sasha101:
Народ, Я прботом правильно закрываю....Хочу закрыть всё что будет после /pop/
ссылка: мой.сайт/144146/pop/files/144146-dj-kocmoc-the-best-club-mix-2011.html
для робота: Disallow: /*/pop
или что то ещё должно быть?

CityCat:
Disallow: /pop/

sasha101:
у меня до /pop/ есть ещё одна папка

Использование спецсимволов "*" и "$".

При указании путей директив Allow-Disallow можно использовать спецсимволы '*' и '$', задавая, таким образом, определенные регулярные выражения. Спецсимвол '*' означает любую (в том числе пустую) последовательность символов. Примеры:

User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'
# и '/cgi-bin/private/test.aspx'
Disallow: /*private # запрещает не только '/private',
# но и '/cgi-bin/private'

Спецсимвол '$'

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:

User-agent: Yandex
Disallow: /cgi-bin* # блокирует доступ к страницам
# начинающимся с '/cgi-bin'
Disallow: /cgi-bin # то же самое

Чтобы отменить '*' на конце правила, можно использовать спецсимвол '$', например:

User-agent: Yandex
Disallow: /example$ # запрещает '/example',
# но не запрещает '/example.html'

User-agent: Yandex
Disallow: /example # запрещает и '/example',
# и '/example.html'

User-agent: Yandex
Disallow: /example$ # запрещает только '/example'
Disallow: /example*$ # так же, как 'Disallow: /example'
#запрещает и /example.html и /example