DDOS сайта. Как бороться?

А прибежал почему? Это как раз те самые запросы типа хуху или аааа, которые метрика моментально передает боту и тот бежит их индексировать, реально игнорируя все ограничения. У меня так было, во всяком случае.

Как определить момент, когда нет атаки? :)

Подсчитать количество строк за последнюю минуту анализируемого файла access.log.

Если меньше некоторого значения, атаки точно нет.

Если больше некоторого, значит есть.

А если это просто наплыв пользователей?) это может быть кто то дал ссылку на популярном ресурсе...

Нужно подобрать порог на количество кликов в минуту, включающий поиск ддос ботов в логах, что бы он был оптимален.

Был выше возможного наплыва посетителей и ниже ддос атаки.

Это вполне возможно.

zexis, это типа юмор такой. Вы пишете "автоматически отключать", а потом ниже выясняется, что на самом деле это означает "две недели подбирать пороговые значения без сна и отдыха" . И еще по мере роста сайта периодически возвращаться к этой проблеме.

Так что некоторым такая автоматика не нужна.

Без сна и отдыха подбирать порог нет необходимости.

Достаточно посмотреть, сколько кликов в минуту в логах у сайта во время наибольшей посещаемости. И увеличить это значение раза в 1,5-2.

И толку не будет.

Вчера приходил бот, который долбился по 1 урлу в секунду или даже реже.

Поскольку долбился он в медиавики это давало фееричный профит, процентов 10 cpu он отожрал.

Штук 100 таких точно положили бы сервер по производительности.

По-хорошему надо считать каждый из критичных ресурсов отдельно, и подбирать для них значения после которого вы пользователя обслуживать уже не желаете. А не тупо по хитам в минуту ограничивать .

Это не невозможно, но некий гемор.

---------- Добавлено 14.04.2015 в 15:04 ----------

Да черт его знает. Еще раз обновил robots.txt и он довольно быстро отстал.

По мне, так ошибка какая-то у самого яндекса.

Надо сказать, что контент он забирал аккуратно, т.е. он фактически до 100% загрузил

сервер, но не более того, т.е. вероятно срабатывал обычный алгоритм подбора максимальной скорости.

все нужно разжевывать... что мешает чистить лог после прохода скрипта? 🍿

а зачем тогда нужен лог?)) а если сайт ломанут... то надо будет по логам смотреть как и что... их нельзя изменять, потом может боком выйти