Виталий Литвинов

Я сделал чтобы на сайте распознавало и банило быстрых ботов - кроме поисковиков создающих большую нагрузку на сервер.

2a07::/16

О, в логах всякого можно насмотреться там бывает и не такое :)

Я себе настроил чтобы всех кто делает слишком много запросов в минуту без cookies банило автоматически - кроме поисковых роботов!

На зеркалах нужно для всего делать 301 редирект кроме /robots.txt для него должен быть код ответа 200. 

apache
Copy
<RequireAll>

    Require all granted

    RequireNot ip 2a07:ac82::/32

    RequireNot ip 

Так весь смысл в том что когда есть атака то сайт тормозит и показывает ошибки часа 4, потом все ip участвующие в атаке сами блокируются и атака прекращается. Потом можно перезагрузить сервер и все разбанятся и так снова по кругу! И всех записывать в список - потом можно этот список банить при наличии атаки.

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -20000 > /root/file10.txt

Как не странно - нагрузки почти нет и всё очень быстро!

Нагрузка большая когда добавляешь 20000 правил iptables сразу, я переделал и использую iptables-restore он не тормозит.