Запретить индексировать определенные файлы в определенной директории по маске

22

Questius

3 декабря 2010, 21:01

556

Имеются директории

Мне нужно запретить индексировать все html файлы в директории folder, но разрешить индексацию jpg файлов в директории pics.

Если я в robots.txt пропишу вот так

Disallow: /directory/folder/*.html$

это будет правильно?

Нужо ли еще прописывать

Allow: /directory/folder/pics/*.jpg$

?

159

IV-й

3 декабря 2010, 21:06

#1

Q

22

Questius

4 декабря 2010, 15:38

#2

IV-й:
http://webmaster.yandex.ru/robots.xml - пользуйтесь ;)

Что-то я не понял как оно работает и что должно показывать.... После загрузки robots.txt, выдало дострочно вот это:

Используемые секции

Строка

1-25 User-agent: *

Allow: /directory/folder/*/*.jpg$

...

Disallow: /wp-register.php