Еще раз про роботс.тхт

Kost:
В стандарте звездочки не предусмотрены.

Внимание: точно так же и инструкции "Disallow: *", "Disallow: *.doc", "Disallow: /dir/*.doc" не запрещают ничего, поскольку файлов, имя которых начинается со звездочки или содержит ее, не существует! Использование регулярных выражений в строках Disallow, равно как и в файле robots.txt вообще, не предусмотрено.

Я не хочу перечислять все файлы, которые необходимо заблокировать. Можно ли использовать соответствие шаблону?

Да, робот Google распознает соответствия некоторым шаблонам. Это расширение стандарта, поэтому не все роботы могут ему следовать.

Соответствие последовательности символов с использованием *
Чтобы соответствовать последовательности символов, можно использовать звездочку (*). Например, для блокирования доступа ко всем вложенным каталогам, начинающимся с "private", можно использовать следующую запись:

User-Agent: Googlebot
Disallow: /private*/

Чтобы заблокировать доступ ко всем URL, включающим вопросительный знак (?), можно использовать следующую запись:

User-Agent: *
Disallow: /*?*

Соответствие последним символам URL с использованием $
Чтобы задать соответствие окончанию URL, можно использовать символ $. Например, для блокирования URL, заканчивающихся на .asp, можно использовать следующую запись:

User-Agent: Googlebot
Disallow: /*.asp$

Это соответствие шаблону можно использовать в сочетании с инструкцией Allow. Например, если ? обозначает идентификатор сеанса, можно исключить все URL с этими идентификаторами для гарантии, что робот Google не будет сканировать повторяющиеся страницы. Однако URL, заканчивающиеся на ? могут быть определенными версиями этой страницы, которые Вы не хотите включать. Для такой ситуации можно настроить файл robots.txt следующим образом:

User-Agent: *
Allow: /*?$
Disallow: /*?

Строка Disallow:/ *? будет блокировать все URL, включающие ? (точнее, он будет блокировать все URL, начинающиеся с имени домена, за которым следует любая строка, знак вопроса и любая строка).

Строка Allow: /*?$ будет разрешать все URL, заканчивающиеся на ? (точнее, она будет разрешать все URL, начинающиеся с имени домена, за которыми следует строка, завершающаяся знаком вопроса).

Disallow: /*/print/