Вопрос про www.

а для чего вообще вайл Роботс прописывается?

.htaccess

RewriteEngine On

RewriteCond %{HTTP_HOST} ^tvoi-adres-saita.ru

RewriteRule ^(.*)$ http://www.tvoi-adres-saita.ru/$1 [R=permanent,L]

Почему? :)

Дай такой файл .htaccess как я написал в корень сайта.

Тогда независимо от того как впишут твой адрес , с www или без -

все равно будет автоматически сайт показываться под адресом с www.

p.s.

Файл роботс предназначен совсем для другой цели - как название об этом говорит -

для указания роботам что индексировать, а что нет.

Для частичного управления индексированием сайта поисковыми роботами.

З.Ы.

вот если я так пропишу файл роботс

User-agent: Yandex

Disallow:

Host: www.site.ru

То у меня все страницы будут индексироватся?

Данный роботс ничего не запрещает роботу Яндекса.

А вот будут они все индексироваться или не будут это уже не от роботса зависит.

Первичная документация:

ФАК "Что такое роботс тхт?"

Хелп "Использование robots.txt" от Яндекса.

Изучайте.

Рогаль Иван, ну например, юзеры, которые как Вы, ссылаются по-разному, кто-то с ввв, кто-то без ввв. И Вы встречаете разные варианты)