Маски в robots.txt

Вот возможные конструкции:

Disallow: - разрешение индексировать всё содержимое сайта,

Disallow: / - запрет на индексацию всего сайта.

Disallow: /name – запрет на индексацию любых файлов и папок, которые называются или имеют в своём названии name.

Disallow: /name/ - запрет на индексацию папки name.

Disallow: /*.gif$ - запрет на индексацию всех файлов, имеющих расширение .gif.

Disallow: /name.php – запрет на индексацию файла name.php.

Disallow: /name.php?action=print – запрет индексации переменной, например, страниц для печати.

регулярные выражения (вроде так называются) у нас кажется только гугль поддерживает?

т.е. в случае

Disallow: /p

будет запрещена индексация всех файлов и папок начинающихся на p ?

И еще вопрос:

Как надо будет прописать роботс чтобы запретить индексацию всех файлов кроме тех которые начинаются на /my-page? Такое возможно (запретить все кроме)?

Отписал Вам в ЛС.

Зарпетить всё кроме, к сожалению, нельзя (не все поисковые роботы правильно поймут конструкцию).

Можно отключить всё кроме нужных файлов.

На всякий случай напоминаю, что в этом разделе есть FAQ, а в нем есть ссылки на инстркуции от Яндекса и Гугла. И прежде, чем задавать такие вопросы, просто необходимо ознакомиться с этими материалами, в том числе и про robots.txt. http://help.yandex.ru/webmaster/?id=996567

Удалено...