переписка с рамблером

Host: yazlo.ru

всё правильно у вас

спасибо большое

Жесточайший роботс =) Но работать будет, подтверждаю предыдущий ответ =)

Хотя копаться лень, возможно, что в таком обилии запретов появился какой-то файл, который отвечает за весь сайт. ☝

Ну не знаю, яндекс на этот роботс ругается "Число проверяемых URL превышает заданный предел (100)." И в этом роботсе нет ни одного allow

К чему бы это?

Во блин! Склероз =) +1 Львиному Сердцу!

http://robotstxt.org.ru/ - читаем стандарт.

Рубите нафиг роботс до правильного размера.

Allow, как и Disallow, не является обязательной директивой

Не надо приводить как эталон, ресурс с давно устаревшей информацией и ошибками.

А по файлу могу сказать, что одинаковые строчки с разным регистром символов не нужны, достаточно оставить по одной.

Далее. Строго говоря, звездочки в Disallow можно использовать только для основных роботов:

Yandex

Googlebot

Slurp

Msnbot

Понимают ли ее остальные, надо смотреть.

Директиву Host я бы ставил только в блок для Яндекса.

Итого, лучше иметь 3 отдельных блока, которые заведомо будут корректно работать, чем один блок с нестандартными директивами и гадать, кто как к этому отнесется.

И что же из этого следует?

удалил, не понял пост :)

зачем с рамой переписываться? 4% от трафа поисковиков.. о_О..

Директивы должны быть разделены.

ну может там 4% от 15000 в сутки :)P