Нужно чтобы поисковики не индексировали определенные УРЛы

6M
На сайте с 23.06.2004
Offline
0
1224

Необходимо, чтобы страницы вида http://www.site.ru/www1/www2/www3/index.html?id=1 не индексировались поисковиками.

Но при этом страницы вида http://www.site.ru/www1/www2/index.html должны быть проиндексированы.

Все страницы обрабатываются mod_rewrite.

Как можно это сделать с помощью robots.txt или при помощи mod_rewrite?

C
На сайте с 19.09.2001
Offline
120
#1

User-agent: *

Disallow: /www1/www2/www3/index.html?id

Если я правильно понял вопрос.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
6M
На сайте с 23.06.2004
Offline
0
#2

Cherny, правильно. Но если каталоги www1, www2 и www3 всегда разные, то что можно сделать?

Конструкция вида:

Disallow: /*/*/*/index.html?id

подойдет?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий