Disallow на .doc работает?

Если убрать пустые строки между User-agent и Disallow, то работает.

Перед Host тоже не должно быть пустых строк.

А пока никакие запреты не работают, файл сделан не по стандарту. Пустая строка - это разделитель между блоками.

Powinteh, если есть сомнения - всегда можете проверить прямо у Яндекса.

PS: Хотя Kost тоже всегда быстро и правильно отвечает :)

Спасибо, у яндекса проверял, вроде запрет, но все ровно индексируется, значит строки убрать?

User-agent: Yandex

Disallow: /*.doc

Host: smsplan.ru

User-agent:*

Disallow: /*.doc

Вот так добавить? Все верно?

Нет, неправильно.

Перед вторым User-agent нужна пустая строка - ведь это следующий блок.

Все ссылки есть в FAQ. Например вот.

Эдак вас из крайности в крайность мотыляет

User-agent: Yandex

Disallow: /*.doc

Host: smsplan.ru



User-agent: *

Disallow: /*.doc

Пока у Вас неправильный robots.txt, semenov написАл , как надо сделать.

Одна секция от другой отделяется пустой строкой, внутри секции - без пустых строк.

И, кстати, документы можно не закрывать, ПС их индексируют и ищут по ним.

Контент не уник, чуть позже сделаю уникальный и открою.

У вас сейчас все открыто нараспашку. И проиндексировано.

http://smsplan.ru/robots.txt

Вот теперь перестанет индексироваться?

Кстати на всякий случай <noindex></noindex> ? или мой роботс уже нормально вес закроет?

сейчас всё, что заканчивается на .doc - не индексируется, можете проверить на http://webmaster.yandex.ru/robots.xml, загрузив роботс и введя любой свой url из первого поста.

<noindex></noindex> уже не нужен (кстати, если что - ставьте лучше валидный ноиндекс).

На счет веса - не уверена, может ли быть у документов вида .doc .xls и тп - вес, как у страниц.