DDoS от поисковиков

Да, но там основная проблема была проблема в том, что эти лимиты учитиваются независимо для каждого поддомена, а их там 15K. У Яндекса еще есть лимит запросов на один IP, но этот лимит зависит в т.ч. и от количества доменов/поддоменов на IP.

Да вот кстати не всегда... Прописал для бота рамблера задержку в 2 секунды, смотрю по логам на след. день, за секунду 2-5 страниц съедал :(

Яндекс бот активизировался сегодня, нагрузка везде сильно выросла...

Выходит проблема в основном у шаред-хостингов и у дорвеев? Нормальным сайтам на собственном IP-адресе опасатся нечего?

Шаред хостинг и собственный IP не являются взаимоиключающими понятиями. Даже если "нормальный" сайт висит на выделенном IP, из-за подобных проблем у его соседей, может лечь весь сервер.

Да, Яху просто запрашивает странички сайтов... У меня на генерацию страницы одного из сайтов уходит 40 Мбайт ОЗУ и не слабо процессорного времени. В итоге примерно через 16 секунд (роботс.тхт присутствовал, делэй в нем был прописан нормально), сайт скушал примерно 1,5 гига оперативки и классно прогрузил процессор. Потом конечно схлынуло все, когда скриптами стало прибивать пользовательские процессы за превышение нагрузки... Сейчас Яху ходить перестал, однако, теперь ходит Яндекс, который получает бан каждый день за более чем 200-300 одновременных соединений... Приходится снимать его каждый день. На роботс.тхт не реагирует впринципе. Так что я даже затрудняюсь сказать что тут сделать можно...

А еще с увесистыми сайтами была тема, что был http-флуд, причем с юзерагентом Яху. Так вот ни один из IP сетке Яху не принадлежал впринципе... Много думал, потом в связи с отпаданием проблемы забил.

З.Ы. IP принадлежали странам третьего мира...

Hack_phoenix, Страны надо было забанить при настройке сервера :) Грамотно настроенный iptables/ipfw нужное подчеркнуть и всякие приблуды самодельные порой творят чудеса, но углубляться я не буду ибо враг где-то рядом.

Угу. Ну теперь это сделано, однако сам факт... Прикидываться поисковиками не есть гут. Невнимательным админам кажется, что поисковики ДДоСят. А на самом деле я даже и не уверен на счет яху, тога Яндекс. Но Яндекс и не генерирует большую нагрузку, просто создает туеву хучу подключений, не более.

Яху паразитический бесполезный бот для русскоязычных сайтов, я его одно время вообще через .htaccess блокировал по диапозону IP адресов.

Нормальный сервер, а не кусок железа с 2-4G, нормальный админ, а не фрилансер за 15$, и пожалуйста - все работает, индексируется и не висит.

Ну да.. Только вот если нифига непосещаемый сайт... И на ВДС. А туда тонна Яху приходят. Получается ДДоС :-D