Растолкуйте про robots.txt и Host

Не после пустой строки, а НЕ-в одной куче с прочими Disallow. Т.е.:

User-agent: *

Host: www.myhost.com

Можно, конечно, и в конце после всех директив (т.к. поймёт её только сам Яндекс), но лучше отделить, чтобы не мешала другим роботам.

Такой роботс не будет обрабатываться ни кем, в т.ч. Яшей.

Директива Disallow: является обязательной.

PS TAndrew. Неужели так трудно почитать хоть что-то перед тем как писать такое...!

TAndrew, есть блоки, а есть директивы, не надо их путать.

Да, вы правы. Наличие хотя бы пустого Disallow: требуется. Почему-то раньше в рекомендациях яндекса было по-другому. Сейчас посмотрел - уже нет :(