robots.txt: закрыть конкретный каталог на n-ом уровне вложенности

тут так написанно:

Maximalist, да, спасибо. Как-то не догадался в хелпе яндекса глянуть, а на офсайте по роботсу ничего не нашел.

Кстати в контексте этого топика, подскажите как сейчас - можно ли надеяться что страницы, закрытые в роботсе не будут индексироваться, или ПС сейчас могут игнорировать роботс?

насколько я знаю - да :)

Просто я уже немножко отстал от жизни seo так сказать :), слышал такие страшные истории мол роботс уже игнорируется...

Reise, вы можете написать пример своего роботса в http://webmaster.yandex.ru/robots.xml, дальше (в следующем окне) добавить урл, который хотите проверить и узнаете, будет он индексироваться или нет.

Правило Disallow: /*/torrent/ таки не работает. Страницы типа /films/fantasy/torrent/123-avatar.html полезли в индекс гугла.

Таки вот такие как ТС и распускают всякие левые слухи про роботс. Два часа назад просил составить правило, а сейчас уже все страницы в индексе и роботс не работает

Самое смешное, что по яндексу выдается , что запрещен:

, при этом правило то без звездочки в конце, то есть: Disallow: /*/torrent/

По гуглу повторюсь - страницы уже полезли в индекс. Добавлю я пока звездочку в конец.

---------- Добавлено 01.02.2012 в 18:21 ----------

И все таки выяснил что гугл игнорирует правила robots.txt. На сайте есть урл-ы вида

в robots.txt стоит правило:

И при этом данные страницы прекрасно индексируются.

Что делать?

Индексируются новые страницы с уже новыми правилами роботс.тхт?

Вообще-то, это неправда. Google о robots.txt

Покажите на всякий случай ваш роботс, или дайте урл.

Disallow: /films/fantasy/torrent/*