Как закрыть от индексации файлы типа .xml?

Soley, вот так правильнее. ;)

User-agent: Yandex

Disallow: /*.php$

Disallow: /*.xml$

Host: www.site.ru



User-agent: *

Disallow: /*.php$

Disallow: /*.xml$

Использование robots.txt

Ziby, может ТС нужно скрыть только файлы в директории dir и они с параметрами ...

Тогда его версия правильная ....

kimberlit, если так как Вы сказали, то согласен, с маленькой оговорочкой, что только если запрет для Яндекса ему нужен.

Вообщем, Лутчер дала ему ссылочку, думаю разберётся. ;)

Тонкость в том, что так урлы закрываются только от яндекса.

Если надо закрыть от остальных поисковых систем, то надо или перечислить все xml и php файлы (если их не много, то это не страшно - несколько сотен строк в robots.txt никого не напугают).

Если же таких файлов очень много, то может их вообще закрыть по http? Я так понимаю, их вообще никто не должен видеть, а не только поисковые системы, так? Если да, то быстрее всего закрыть их можно через rewrite_module.

Я вот думаю, а robots.txt работает только в корне сайта.. а если разместить в отдельном каталоге сайта, будет работать?

anthony_, как написано в http://www.robotstxt.org/orig.html, "This file must be accessible via HTTP on the local URL "/robots.txt". То есть файл должен быть в корне.

Если Вы смотрели серверные логи, то наверняка заметили, что роботы его только там и ищут.

Ну в приницпе я так и думал.. но, вдруг, есть темка.. а я не знаю :)

Меня интересовало скрытие этих типов файла именно от яндекса, поскольку webmaster.yandex.ru показывает огромное количество ошибок "Формат документа не поддерживается" для .xml документов ....

Всем большое спасибо за ответы:)

А лучше разнести типы документов по отдельным папкам и запретить нужные папки.