Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как запретить неизвестное расширение к инлексации

AR
На сайте с 24.02.2011
Offline
81
agrib.ru
412

На сайте есть функция скачивания файлов. Стоит мультипоточность закачки, и возможно из за этого в индекс попадают страницы таково вот вида:

папка сайта/sdac15.exe/307.file

папка сайта/sdac15.exe/data002/133.file

и так далее

В robots.txt прописал вот такие правила:

Disallow: *.file

Disallow: *.exe

Но вот думаю - может этого не достаточно, может быть можно прописать так:

Disallow: *.file*

Disallow: *.exe*

Ну т.е. что бы после exe или файл любой символ учитывался. Или так нельзя прописывать?

Выращивание грибов - весь процесс на сайте Грибы (http://agrib.ru)
cheredov
На сайте с 07.04.2011
Offline
125
cheredov
#1

В конце звездочка и так приписывается.

Иван Чередов (http://ivan.cheredov.com/about/)
AR
На сайте с 24.02.2011
Offline
81
agrib.ru
#2

В смысле? Всегда приписывается при запрете расширений файлов в целом?

AR
На сайте с 24.02.2011
Offline
81
agrib.ru
#3

Может быть кто то все таки скажет ответ? :)

Flint Eastwood
На сайте с 22.10.2012
Offline
5
Flint Eastwood
#4

help.yandex.ru/webmaster/?id=996567#996572


User-agent: Yandex
Disallow: /example # запрещает и '/example',
# и '/example.html'
AR
На сайте с 24.02.2011
Offline
81
agrib.ru
#5

Если что мне под гугл :)

---------- Добавлено 30.10.2012 в 19:03 ----------

Т.е. как я понял из руководства - оно и так по умолчанию ставит * после каждого правила?

Т.е. Disallow: *.exe

учитывает так же и

папка сайта/sdac15.exe/307.file

папка сайта/sdac15.exe/data002/133.file

Да?

Gmail теперь ищет по Новые функции Google Docs Стартовал конкурс SEO-статей с

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий