"Ddos" от Яндекса и Crawl delay

5 июня, в пятницу в районе 14.00 наш сервер на базе HP Proliant (конфига выше средней, не топ) с региональным СМИ на борту (~100.000 страниц в индексе, до 25000 хостов в сутки, Я.Новости, G.News и пр.) завис.

Причина - огромное количество обращений и загрузок (в основном, изображений) с подсетей, принадлежащих Яндексу.

Пофиксили оперативно, вовремя вспомнив про директиву Crawl Delay для robots.

За мою практику (около 5 лет) подобное случается впервые. Раньше Crawl Delay я не использовал никогда (пинайте, но не по почкам - их всего 2). Прочитал мануал и то нехитрое что нашел.

Понял, что Crawl Delay использовать можно, можно дробное, неясным осталось:

1. Какое максимальное значение можно использовать без вреда для индексации Яндексом (сейчас стоит 0.1 и это значения Платоны считают безопасным, переписку вел лично).

2. Можно ли писать данное правило в robots со *, т.е. для всех поисковых систем.

P.S. Тем же вечером рандомно пинговал другие сайты региональных СМИ - не работали многие (причина неизвестна, возможно совпадение).