Edved

metaContent:
Чтобы ПС не индексировала информацию об информации.


и ссылки на поиск http://www.yandex.ru/yandsearch?text=%D1%8F%D0%BD%D0%B4%D0%B5%D0%BA%D1%81
не будут индекситься (иначе ПС захлебнулись бы).

По ссылкам внутри вашего сайта.

Вы сможете найти примеры в а чтобы понятно было - посмотрите урлы страницы результатов поиска на этом форуме.

http://robotstxt.org.ru/
http://webmaster.yandex.ru/faq.xml?id=996583