отфильтровать udp

Может, но уследить за каждым клиентом уже не в силах. (когда на одного саппортера 300-400 клиентов и т.п.). Тогда проще автоматикой блокировать аккаунт, на который пошла атака.

Himiko, Не про технику. ему финансово не выгодно, потому и банят ботов яндекса иногда, к примеру, если я верно понимаю.

Ну это уже бред, имхо. Нет индексации - нет и клиента.

Himiko, Но случаи то были - свеб, онкельхост, бест-хостер... Ценовую политику то вы, я думаю, знаете. Они решают эти проблемы, но сам факт - показателен.

Про случаи естественно знаю.

В это проблема автоматических средств защиты, которые не умеют отделять нужных ботов от других. У нас тоже есть фильтры автоматические, но ботов они не заденут.

Himiko, Но происходит то от ценовой политики, верно? :). Ведь опять же время администратора стоит денег. Ну и сама по себе организация средств защиты... Но здесь еще и плотность размещения клиентов на сервере играет роль, т.е. много клиентов - более частые обращения к сайтам самих поисковиков. Вот и получается, что стоит какой-то CSF, который при превышении числа коннектов рубанул айпи... А в белый лист всех ботов не внесешь толком, на основе IP - они меняются. Парсить логи? - дорого.

1. Ценовая политика роль играет, это точно. Мы себе можем позволить саппортеров/администраторов отдельных под небольшую плотность клиентов. Получается, что саппорт чуть ли не в лицо каждого знает и где какие возможные траблы =)

2. Можно на основе user_agent. Хотя и они подделываются при жалении.

Himiko, ну вот про user-agent - это опять же уменьшение плотности клиентов на сервере. Парсить логи - опять же ресурсы не маленькие для сервера, на котором по 500+ клиентов. Причем я сомневаюсь, что там железо, отличное от десктопного, т.е. это SATA-диски, зачастую без рейда, десктопные процессоры и т.п. Т.е. само железо "работает на пределе"....

if ($http_user_agent ~ Googlebot) {}; для nginx =)

Для фильтров можно указать отдельный лог. Тут же работает скрипт, который по этим логам собирает ip и в фаервол.

На нормальном сервере только сам nginx может несколько десятков тысяч ip фильтровать без нагрузки.

Самый примитивный вариант.

P.S.: Могу дать в личку сайт, который можете попробовать "задолбить" запросами через siege или ab. Толка будет просто 0. (может только нагрузка на 1% увеличится максимум)

Himiko, Да не. У них срабатывает лимит на количество одновременных подключений с одного IP, и банится это дело файрволлом. Т.е. надо пропарсить _все_ логи и выдрать айпишники конкретных юзер-агентов. Т.е. им или менять систему защиты на что-то вроде Nginx, или ставить ее на каждый сайт индивидуально (csf такое сделать не может, здесь надо что-то самописное). И отказаться от глупого ограничения на число коннектов с одного IP - они же грепают netstat (по типу dos-deflate). На моем опыте такая защита мало того, что не эффективна, так еще и вредна... В автоматичееском режиме, естественно. Т.е. может сказаться так, что браузер юзера делает одновременно 300-400 запросов к странице (слишком большое количество элементов на ней) - и отправляется в бан ;). Или смотрит два сайта одновременно. Т.е. вы фильтруете nginx, а я предпочитаю парсить логи и отправлять нарушителей спокойствия в deny. А у них - банально грепается нетстат.