Помогите с robots.txt

Вот так вот удовлетворит все ваши запросы:

User-agent: Yandex

Disallow: /*katalog

Disallow: /*tovar

Host: site.ru

Toolma4, вы уверены, что строчку Host обязательно отделить пустой строкой?

Не нужно давать заведомо неверные советы, если сами не знаете.

Dizels, у вас все нормально.

Уважаемый Kost, а что я сказал не верно? В данном случае "пробел" всего лишь ошибка форматирования - и никаких негативных последствий не несет - не так ли?

Во-первых, не передергивайте, не "пробел", а пустая строка. Или для вас это все равно? Уверяю вас, это совершенно разные вещи.

Во-вторых, прежде чем что-то советовать кому-либо, принято читать документацию, чтобы не давать вредных советов.

Совершенно ясно, что вы этого не делали, поэтому не знаете и не понимаете, из чего должен состоять файл robots.txt. Вместо того, чтобы немедленно найти и разобраться в документации вы требуете, чтобы я вам что-то объяснил. Извольте.

Читаем вместе :

Файл состоит из одного или нескольких блоков, разделенных одной или более пустыми строками.

А вы взяли и отделили директиву Host: от остального блока, отвечающего за Яндекс.

Значит она уже работать не будет.

Консультация окончена.

Надеюсь, консультация была бесплатной.

Согласен, приношу извинения.

век живи, век учись))

а если блоки User-Agent: * и User-Agent: Yandex не разделены пустой строкой, тоже работать не будут?

http://webmaster.yandex.ru/robots.xml — по этому урлу можно найти полезный инструмент по проверке инструкций robots.txt. После ознакомления с ним надобность в подобных топиках на форуме отпадает.

Желательно ещё прописать карту сайта (создать её если нет)