Нашел на сайте robots.txt -поясните

Запрещает индексацию без ввв в Яндексе.

Почему???

Правильно поняли.

K. Ermakov, потому что РОБОТС не может разрешать. Он только запрещает. Константин, почитай, есть пост, где "отцы" про это рассказывают. Или еще проще:

http://www.yandex.ru/cgi-bin/test-robots?host=surrealism.ru

Индексация зеркала без ввв - запрещена. Даже красным болдом для верности.. ;)

6666, ох, как закрутили :) Согласен, разобрался, прошу прощения, что поднял шум :)

Действительно, как только Яндекс склеит сайты с ввв и без, индексация неосновного домена будет запрещена.

K. Ermakov, да все верно и никакого шума. :) Разумеется, сказать, что "хост" определяет главное зеркало - на 100% правильно. Так же, как и сказать, что - запрещает второе. Не суть.

Просто в обсуждении этого вопроса тот же Сегалович использует "запрещающую" терминологю.

Здесь всё просто: потому что robots.txt для того и создан, чтобы управлять индексированием сайта, запрещая роботам доступ к некоторым, указанным в robots.txt, частям. Про это и в спецификации сказано. Так что всё верно :)

Ок!

Понял! Но, (простите если тупой вопрос - я дилетант в этом), влияет ли это как-то на ту платную ссылку, которую я , допустим, размещу на этом сайте,( то есть отрицательное чего-нибудь есть ?) или никак не влияет?

И вот на другом сайте обнаружил robots.txt ровно с такой записью :

User-agent: *

Больше ничего нет :)

Это сё ?

Я бы сказал, что он запрещает не индексацию домена без www, а все домены-зеркала, имеющие имена, отличные от указанного в Host:

На ссылки не влияет. Это определяет, как будет отображаться сайт в выдаче - с www или без www :)

User-agent: * - это просто заглушка. М.б. для того, чтобы файл robots.txt существовал, и не делались записи в логи ошибок :)

мне кажется, что если будет куплена ссылка с www.uidr.ru - то этот выброшенные деньги.

т.к.

покупать надо с "uidr.ru" - тогда будет польза