Что лудше для поисковиков www.мой сайт.ru или мой сайт.ru ?

Allow Существует. Посмотрите, инструментах веб-мастера гугл что предлагают по умолчанию.

Disallow: / имеет смысл ставить на сайты конкурента, но сначала надо туда получить некриминальный доступ.

alexspb, ознакомьтесь, пожалуйста, http://help.yandex.ru/webmaster/?id=996567#996571

Понимаем-понимаем. :)

http://help.yandex.ru/webmaster/?id=996567#996571

http://www.google.ru/support/webmasters/bin/answer.py?answer=40364

http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-02.html

и т.д.

letsgo, это я читал, но как-то предпочитал по старинке. В любом случае, мой вариант не является ошибочным.

SAlex, Disallow: / никто в топике не предлагал

ЗЫ значит robotstxt.org.ru в топку

ЗЗЫ за ссылочки спасибо

Вставлю 2 цента.

Этим Вы задаете значение Host для всех роботов. А Яндекс, сцуко, особенный, он понимает (?) только инструкции предназначенные персонально для него. Т.е. robots.txt состоит минимум из двух частей: для всех, и только для Яндекс (чувствуете силу?) Типа того:

User-agent: *
...

User-agent: Yandex
Host: www.ВашДомен

Дальше больше, есть шанс на то, что некоторые роботы будут "спотыкаться" об нестандартную директиву Host, это второй довод для того, чтобы вынести ее в отдельный блок.

Православным поисковикам достаточно редиректа с www на домен (или с домена на www, это на Ваш вкус). Через некоторое время наступит склейка и желаемое счастье.

(С точки зрения исторической справедливости, редиректить стоит с домена на www.домен)

Ничего подобного! (см. хелп по использованию robots.txt).