Помогите разобраться с robots.txt

calume, прочитайте вот это.

А потом оставшиеся вопросы зададите.

читал, сайт находиться на народе поэтому ничего непойму где как переделать?

А если бы был не на народе, то поняли бы? robots.txt обычный текстовый файл и он будет работать на любом хостинге.

И еще для прочтения: http://robotstxt.org.ru/

Значит плохо читали. Там же написано, что без разницы с www или без.

Составьте файл robots.txt и закачайте его на сайт.

где он прописан непойму? как переделать второй вопрос? и почему у некторых сайтов его вообще нет?

На народе его вообще не существует. Сами делаете и ложите в корневую директорию.

Со вторым вопрсом? А что не так? Работайте и будет счастье.

Некоторым "лень" его делать или они о нем не знают или может они не считают нужным его делать.

он не обязателен

что где прописано, если основное зеркало, то в robots.txt после всех Disallow: пишется Host: основное зеркало

Ну этот вопрос вообще в тупик ставит. Какой второй вопрос?

Стал регестрировать сайт в каталогах, выдаёт зеркало сайта?

Такое ощущение, что какой то "доргенератор" пишет!

Я так понял вопрос должен был бы звучать так: После регистрации сайта в каталогах, Яндекс начал выдавать зеркало сайта. Верно?

Если так, то регистрация сайта в каталогах здесь не причем.

может вырожаюсь я неправильно сори, вроде раздел для новичков! яндех пишет что сайт проидексирован, регестрирую в катологах, католг пишет, что сайт зеркало другого сайта, начинаю вбивать в поис яндекса его нигде нету? хоть www без, прочитал где-то, что это разные сайты, и что надо прописовать для robots.txt путь поэтому возник вопрос, по поисковым запросам виден, поэтому запутался полностью.