robots.txt что прописать чтобы разрешал sape.ru

Я бы тоже не стал, поэтому мы с Вами не LuCkyManы. :) Но это уже другой вопрос.

Спасибо. ;) Не, на самом деле, robots.txt, оформленный таким образом, поставленную задачу выполняет (на грани правда, но всё же).

LuCkyMan, robots.txt Вам в помощь

LuCkyMan, вот пара советов по оптимизации нагрузок краулеров:

Можно снизить нагрузку гуглобота установив интервал запросов в панельке вебмастера.

Так же в сети есть список "мусорных" для ru ресурса юзер агентов, которым можно запретить поиск, поищи сам (я не в состоянии просто сейчас:)).

Возможно этих мер будет достаточно.

Почему проблем? Роботс по стандартам сделан

Да не совсем по «стандартам». Взять хотя бы директиву «Crawl-delay»:

И кроме неё есть ещё отклонения от «стандартов». ;) Например, Гугл «Crawl-delay» не поддерживает. Да, она игнорируется при обработке, но кто знает как поведёт себя робот в случае чего.

Я про секцию

некоторых напугавшей ($

semenov, а, ну с этим всё ок. :)

Просто нужно помнить, что директивы в robots.txt не наследуются (согласно стандарту). Тобишь, запрет, объявленный для произвольных роботов, не является действующим для робота, которому объявлена персональная инструкция.