Вопрос по robots.txt

F8
На сайте с 06.07.2007
Offline
149
500

Подскажите пожалуйста, что неправильно в моем файле robots.txt:

User-agent: Yandex

Host: <domain>.ru

User-agent: MSNBot

Disallow: /

User-agent: Slurp

Disallow: /

User-agent: ia_archiver

Disallow: /

User-agent: yahoo-mmcrawler

Disallow: /

User-agent: yahoo-blogs/v3.9

Disallow: /

После редактирования файла robots.txt мой сайт вывалился из Яндекса и Платон ответил следующее:

Здравствуйте, Никита!

Ваш сайт запрещен к индексированию в файле robots.txt :
User-agent: *
Disallow: /
Отмените запрет, и в ближайшее время сайт появится в поиске.
Подробнее о файле robots.txt можно прочитать здесь:
http://help.yandex.ru/webmaster/?id=996567


Просим Вас высказать свое мнение о полученном ответе:
http://feedback.yandex.ru/appraisal.xml?session=29ebed18d4929d502a78462214814bf3&ticketnumber=200902109008943


--
С уважением, Платон Щукин
Служба поддержки Яндекс.Ру
http://help.yandex.ru/

Заранее спасибо

Iskatelnica
На сайте с 26.09.2008
Offline
27
#1

Ну так прошли бы по ссылке и почитали:

Кроме того, в соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки.

Добавьте пустые переводы и добавьте на индексацию, если ошибка не будет устранена, то аддурилка выдаст соответствующее сообщение.

kimberlit
На сайте с 13.03.2007
Offline
370
#2

1. Пустой строки нет между секциями ...

F8
На сайте с 06.07.2007
Offline
149
#3

Спасибо, то есть вот так 100% всё правильно и сайт вернется в поиск?

User-agent: Yandex

Host: <domain>.ru

User-agent: MSNBot
Disallow: /

User-agent: Slurp
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: yahoo-mmcrawler
Disallow: /

User-agent: yahoo-blogs/v3.9
Disallow: /
kbv79
На сайте с 24.03.2007
Offline
167
#4

Лучше, на всякий случай, сделать так:

User-agent: Yandex

Disallow:

Host: <domain>.ru

G
На сайте с 01.04.2008
Offline
109
#5

Подскажите, у меня вот такая структура файла

User-agent: Yandex

Disallow: /?page_id=41

Disallow: /?m #

Host: www.мойсайт.ru

User-agent: *

Disallow: /?page_id=41

Disallow: /?m #

Host: www.мойсайт.ru

Я таким образом закрыл для индексации архивы (файл на вордпрессе, поэтому во избежание дублирования страниц). Но в _webmaster.yandex.ru/wmconsole/analyze_robots_txt при попытке загрузить robots.txt с сайта пишет "Не удалось загрузить robots.txt". Файл создал в Unicode Editor 2.8, кодировка UTF-8, залил через FTP в папку public_html. Из браузера его прекрасно можно прочитать. Вроде бы все правильно сделал, но панель вебмастера выдает ошибку :(

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий