Файл robots.txt

Если надо исключить, например каталог, но не подкаталоги, то обязательно. Или же надо исключить page.html, но не page.html?id=1 и т.д.

Смотря какая ситуация.

Можно какой-нибудь конкретный пример? С логическим объяснением сего действа.

Не, в дизаллоу залетит не только /page.ext, но и /page.ext/otherpage.php. :)

P.S. Практическая ценность при известной структуре урлов близка к нулю. Но ведь пятница же. ;)

Пожалуйста.

В панели вебмастера гугла заходите в Анализ robots.txt

В текст robots.txt пишите:

User-Agent: *

Disallow: /catalog/$

В "Проверка URL по этому файлу robots.txt":

http://site.ru/catalog/

http://site.ru/catalog/?123

Нажимаете кнопку "проверка"

После проверки гугл выдаст:

http://site.ru/catalog/ Заблокировано строкой 2: Disallow: /catalog/$

http://site.ru/catalog/?123 Разрешено

Действие бакса описано в хелпе Гугла и Яндекса.

P.S. Вместо site.ru должен быть сайт, добавленный в панель вебмастера под вашим акком.

Bdiang, млин, вы думаете, что я не знаю для чего этот символ предназначен?

Я и без вебмастера могу определить какой урл разрешён, а какой запрещён ...

Я про конкретный случай спрашивал, про каталоги и подкаталоги (внимательно смотрим пост нумбер 13 (свят-свят)).

Ааа, ну хорошо. У меня был случай, правда наоборот - разрешить каталог и запретить подкаталоги.

Понадобилось, т.к подкаталоги переехали в другой каталог :)

С сабжем проще - запретить page.html и разрешить "page.html?id=", т.к, например page.html пуста, а вся инфа в page.html с параметрами id. Всякое бывает, не зря ведь ввели...

Bdiang, всё указано в пункте Совместное использование директив.

Беобахтер, это был не вопрос, а пример когда мне такое понадобилось :)

Желательно поиск и сортировки (например если у Вас интернет-магазин) дабы не было страниц с дублирующимся текстом но в ином порядке.

Угу. Здесь можно эффективно использовать Clean-param.