Как работает robots.txt ?

robots.txt - первый файл, который поисковый робот возьмет у Вас. В нем записаны основные интрукции касающиеся его действий.

З.Ы. noindex - это тег, придуманный Я, Р и др. К robots.txt он никакого отношения не имеет. Для запрета индексации всего сайта необходимо прописать роботам "Disallow: /". Здесь же Вы можете разным работам давать разные инструкции.

http://www.robotstxt.org/wc/exclusion-admin.html

Теперь я понял, спасибо!

А как же все таки будет с тем, что ссылки на мой сайт и на его отдельные страницы (а в принципе и на все страницы) находятся на других сайтах? Ведь по этим ссылкам поисковик его все-таки видит? Или как?

Поисковик видит ссылку на Ваш сайт, идет по ней, берет robots.txt, а дальше все по инструкциям :)

Yandex увидит всё, в том числе и ссылки на Ваш сайт, доступные к индексации.

Запрос файла robots.txt роботом поисковой системы не зависит от того, ссылается ли на этот файл какая-то страница или нет.

Дык я про это самое и спрашиваю! Раз Яндекс мой сайт найдет по внешним ссылкам, то запрет индексации в Роботсе ничего не значит. Так?

Так... еще раз. Яндекс видит ссылку на Ваш сайт. Идет по ней. Берет robots.txt. Видит там прописан запрет к индексации. Уходит. Ваш сайт в индексе не появится!

Спасибо! Кажется, дошло!