Как запретить индексировать документы с GET переменными? -> a.html?a=1&b=2

[Удален]
4960

Дело в том, что страницы генерирую с помощью mod_rewrite, но мелкие переменные (типа способ сортировки данных на странице (по убыванию или по возрастанию, например)), передаю через GET переменную a.html?sort=1 или a.html?sort=2. Страницы получаются практически одинаковыми, может стоит запретить индексацию? Как это можно сделать?

Мне нужна индексация a.html, но не нужна a.html?sort=1 или a.html?sort=2

Надеюсь, я понятно изложил вопрос :)

C
На сайте с 19.09.2001
Offline
120
#1

В robots.txt надо добавить правило

Disallow: /a.html?

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
NL
На сайте с 29.01.2003
Offline
192
#2

Возможно ошибаюсь, но все же кажеться, что кто-то тут писал, что с одним вопросительным знаком могут быть глюки у Яндекса. Может лучше перестраховаться? И попробовать так:


User-Agent: *
Disallow: /bla-bla-bla/a.html?sort
HK
На сайте с 29.06.2005
Offline
4
#3
User-Agent: *
Disallow: /bla-bla-bla/a.html?sort

Я тоже думаю что так правильнее

andrej-ilin
На сайте с 28.03.2005
Offline
42
#4
Возможно ошибаюсь, но все же кажеться, что кто-то тут писал, что с одним вопросительным знаком могут быть глюки у Яндекса.

Может быть кто-то и писал, но это не так. Запись с вопросительным знаком соответствует стандарту и не должна вызывать различных толкований у любого поисковика.

Запись

Disallow: /bla-bla-bla/a.html?sort

запрещает индексацию только с параметром, в начале имени которого есть сочетание букв "sort",

а запись

Disallow: /bla-bla-bla/a.html?

запрещает индексацию с любыми возможными параметрами.

Вот и вся разница.

Вообще-то, такие вопросы принято задавать в разделе "Любые вопросы от новичков", а еще лучше почитать этот раздел. Ну, и на Яндексе тоже все подробно написано в разделе "Советы вебмастеру".

andrej-ilin@yandex.ru
C
На сайте с 19.09.2001
Offline
120
#5

andrej-ilin, по стандарту запись правильна и не должна вызывать неоднозначных толкований, однако вызывает, рекомендую внимательно прочитать следующий топик, особенно официальный ответ Яндекса.

Так что NULL прав, а я бью себя по лбу за короткую память! :(

NL
На сайте с 29.01.2003
Offline
192
#6
Может быть кто-то и писал, но это не так. Запись с вопросительным знаком соответствует стандарту и не должна вызывать различных толкований у любого поисковика.

О том, как должно быть в соответствии со стандартами, уже написал Владимир (лучше его стандарт на robots.txt на этом форуме, наверное, не знает никто), я же писал как может быть, т.к. одно дело стандарт, и совсем другое дело - поведение некоторых ботов (вспомните историю с D-ботом Яндекса).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий