robots.txt, который ничего не запрещает.

Директива хост указывает Яндексу имя основного зеркала:

http://www.yandex.ru/yandsearch?text=%E4%E8%F0%E5%EA%F2%E8%E2%E0+Host&stype=www

AVV, и чего там по ссылке? Поищите, лучше по СЕ, где Илья Сегалович спорит с АИКом на эту тему. ;) Получите правильную формулировку "из первых рук".

Также для изучения директивы полезен первоисточник в лице Александра Мелькова: /ru/forum/3028

Очень подробная и интересная тема.

Вот ё-моё. Не пишите несуществующих в стандарте директив в общей секции и будет вам "щасье". Дело в том, что неправильную запись некоторые боты будут игнорировать. Т.е. правильный вариант директивы Host такой:

User-agent: *

Disallow:



User-agent: Yandex

Disallow:

Host: www.site.ru

Если ничего не запрещается, то это не смертельно, но если что-то надо запретить не удивляйтесь, что робот игнорирует запреты.

Причём я бы не стал заводить пустой robots.txt. Дело в том, что пустой robots.txt может трактоваться как сбой закачки и робот будет несколько раз долбиться в robots.txt прежде чем будет принято решение, что сайт можно индексировать.

User-agent: Yandex

Disallow:

Host: www.site.ru

Pls: proindeksirui и glavnui ne poteryi! Amen.

Евген, последнюю строчку начинай с # :)

это, конечно, не так. Страницы http://www.yandex.ru/info/webmaster2.html#HostDirective давно уже нет, но там было написано "запрещается индексация всех зеркал кроме главного" (смысл был такой).

Kost, да, поправка правильная, разумеется. Я имел в виду, что зеркало только одно.

Неправильно, надо так:

User-agent: Yandex

# Klyuchevye slova: "aaaaa", "aaaaaaa bbbb": Mesto: 1

Disallow:

Host: www.site.ru

User-agent: Googlebot

# Keywords: "aaaaa", "aaaaaaa bbbb": Position: 1

Disallow:

...

Раньше у меня было без Disallow. Хуже на первый взгляд не было.

Сейчас сделал.