Документ запрещен в файле robots.txt

Роботс не не может не иметь параметра Disallow:

Точно не скажу, но возможно из-за того, что директива Host не прописана. У Вас зеркало главной в индексе.

Ну да, и еще:

Disallow:

Ошибка где-то в молекулах дезоксирибонуклеиновой кислоты. Что такое Allow? Где вы в спецификации robots.txt такое увидели?

Разрешающая к полной индексации директива выглядит так:

Отсутствие параметра хост не может влиять на индексацию. Исключение лишь в косвенном случае, если хост не был прописан, сайт скопировали и копию признали основным зеркалом.

Что это за команда такая - Allow? :)

Уберите её, и добавьте "Disallow:".

Не путайте роботов. :)

Вопрос для всех.

Для полной индексации так должно быть?

User-Agent: *

Disallow:

Sitemap: http://runom.ru/sitemap.xml

Ну, вообще-то такая директива есть - http://help.yandex.ru/webmaster/?id=996567#996571

rpex добавил 22.09.2009 в 16:39

да.

10 символов

Согласен с Вами, мой косяк...

Да, так. Но Host все таки желательно прописать на будущее.

И более того, я дополню сие технически обоснованно.

Все роботы подчиняются в первую очередь стандартам.

То, что не предусмотрено стандартом, может быть

1. игнорировано;

2. интерпретировано семантически как самая похожая директива. То есть ДИЗэлау;

3. рассмотрено как ошибка или намеренное запутывание робота и стать причиной соответствующих мер.

йфяцыч добавил 22.09.2009 в 16:43

мануал по стиральной машинке "электролюкс стопицот" не является энциклопедией стирки 🔥

Спасибо всем. Что бы я без вас делал. Наверное 10 лет ждал индексацию.