Как запретить индексировать документы с GET переменными? -> a.html?a=1&b=2

В robots.txt надо добавить правило

Disallow: /a.html?

Возможно ошибаюсь, но все же кажеться, что кто-то тут писал, что с одним вопросительным знаком могут быть глюки у Яндекса. Может лучше перестраховаться? И попробовать так:

Я тоже думаю что так правильнее

Может быть кто-то и писал, но это не так. Запись с вопросительным знаком соответствует стандарту и не должна вызывать различных толкований у любого поисковика.

Запись

Disallow: /bla-bla-bla/a.html?sort

запрещает индексацию только с параметром, в начале имени которого есть сочетание букв "sort",

а запись

Disallow: /bla-bla-bla/a.html?

запрещает индексацию с любыми возможными параметрами.

Вот и вся разница.

Вообще-то, такие вопросы принято задавать в разделе "Любые вопросы от новичков", а еще лучше почитать этот раздел. Ну, и на Яндексе тоже все подробно написано в разделе "Советы вебмастеру".

andrej-ilin, по стандарту запись правильна и не должна вызывать неоднозначных толкований, однако вызывает, рекомендую внимательно прочитать следующий топик, особенно официальный ответ Яндекса.

Так что NULL прав, а я бью себя по лбу за короткую память! :(

О том, как должно быть в соответствии со стандартами, уже написал Владимир (лучше его стандарт на robots.txt на этом форуме, наверное, не знает никто), я же писал как может быть, т.к. одно дело стандарт, и совсем другое дело - поведение некоторых ботов (вспомните историю с D-ботом Яндекса).