robots.txt - как правильно закрыть от индексации страницы

Ну а если этих страниц не мало, более 1000?

ColdMAN, а как это будет в моем случае выглядеть?

вот так:

User-agent: *

Disallow: /*-full

Мне нужно сократить роботс.тхт, т.к. писать 1000 строк не вариант! :)

Кстати, как можно проверить правильность роботс.тхт, а то вдруг закроются страницы не те?

http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml

Камрады, Цахес прав. Насколько я помню команды Dissalow: не существует. Есть Disallow:

Смотрите не ошибитесь, роботы не любят арфаграфических ошибок ))).

Сори что вклиниваюсь. Нашол сдесь http://robotstxt.org.ru/RobotstxtErrors, черным по белому написано что инструкции allow несуществует

http://help.yandex.ru/webmaster/?id=996567

может и по мировым стандартам не существует, но для яндекса существует)

то есть robots для яндекса может включать инструкцию allow

Народ, не забывайте еще про такую весьма полезную директиву как

Clean-param

а можно закрыть с помощью robots определенные внешние ссылки на сайте? (рекламу adsens например)

Disallow: /slovo-full

Запрещает все страницы (и папки и файлы), начинающиеся с "slovo-full" и неважно сколько их.

Небольшой офф:

А если в баре яндекса видит ошибки 404 (страницы я удалял), их в роботс нужно все вписывать теперь?

подскажите как закрыть от индексации ссылку с Баннера (ссылка с баннера ведет на чужой сайт)