robot.txt для динамических страниц

P
На сайте с 26.02.2002
Offline
73
593

Как в робот.тхт закрыть все монжество страниц вида /page?id

Price OK - у нас самые свежие цены! (http://www.priceok.ru)
C
На сайте с 19.09.2001
Offline
120
#1

Так и закрывать:

Disallow: /page?id

:)

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
N
На сайте с 21.11.2001
Offline
152
#2
Так и закрывать

Ой-ли? ;)

Так-то, так. Pegiy все нормально, Cherny плохого не посоветует, он специалист в этом вопросе. Но если Вы хотите, чтобы уже проиндексированные страницы запретить к индексации, то будьте готовы к тому, что они еще полгода в индексе будут ;)

Григорий Селезнев
На сайте с 25.09.2001
Offline
298
#3

у меня есть сервак, у которого cgi-bin стоит в disallow почти год - так яндекс знает одну страницу внутри cgi-bin ... благо находит ее по ссылке ...

P
На сайте с 26.02.2002
Offline
73
#4
Как писал Nicon

Но если Вы хотите, чтобы уже проиндексированные страницы запретить к индексации, то будьте готовы к тому, что они еще полгода в индексе будут ;)

А что, разве есть варианты? Кроме как добавить в робот.тхт и выдавать 404.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий