- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Прошу совета по настройке apache+nginx при ddos.
Система Debian GNU/Linux 6.0
На сервер идет http-флуд
Количество входящих пакетов 20 000 в секунду.
Входящий трафик 15 мбит.
Каждую минуту на сервер приходит около 50-100 новых ботов.
Каждый бот делает от 5 до 100 кликов в минуту.
Суммарно от новых ботов от 3000 до 20 000 кликов в минуту.
За сутки обнаруживается около 20к-30к ботов.
Все боты атакуют одну и ту же страницу. Но эта страница регулярно меняется.
Боты автоматически обнаруживаются в логах access.log и через минуту попадают в фаервол iptables.
Но при этом постоянно плодятся процессы апач и растет нагрузка load average:
Через 5 минут load average до ходит до 100 и выше и сервер перестает откликаться.
Подозреваю, что надо как то ограничить работу процессов апач.
Прошу совета, какие настройки в апач + nginx нужно попробовать покрутить.
Пытался включать, отключать кипаливе, менял размеры proxy_buffers, но безуспешно.
В nginx поставлены лимиты
limit_req_zone
limit_zone
Но так как большинство ботов медленные, то лимиты они не превыщают.
top
К какому адресу идут обращения? Покажите кусок лога.
атакуемая страница регулярно меняется
Проблема в том, что за минуту новые боты пока не попали в бан в фаервол успевают загрузить апач и нагрузка
load average до ходит до 100 и выше и сервер перестает откликаться.
Но при этом постоянно плодятся процессы апач и растет нагрузка load average
Настроить сервер нормально надо, исходя из его физических возможностей обслужить запросы. Чтобы даже в максимально допустимом пике нагрузки все запросы к апачу (+ mysql или что там) - не отжирали все что можно.
Проблема в том, что за минуту новые боты пока не попали в бан в фаервол успевают загрузить апач и нагрузка
Проблема в том, что кто-то разрешил им это делать. Насколько я понимаю, Вы впервые столкнулись с более-менее солидной атакой.
Ну вот учитесь - защита начинается не с банов, а с грамотного лимитирования системных ресурсов. Для этого умные люди и нанимают системного администратора, а не первого попавшегося "защитника" ;)
Подозреваю, что надо как то ограничить работу процессов апач.
Да. Прочитать, наконец, его мануал и узнать про директиву MaxClients.
В nginx поставлены лимиты
У Вас nginx жрет ресурсы? Разве не толпа апачей, которую Вы бездумно наплодили?
Я уж молчу про iptables, которая висит у Вас в топе. Отучайтесь от того, чтобы вызывать эту команду по первому чиху - узнайте про iptables-save/restore. А еще лучше - ipset.
PS: И этот человек "защищает Ваш сервер от ddos" :D
Распределённая атака по 1 запросу дёргают боты, сложная ситуация.
Думаю уменьшить запросы так что бы сервер справлялся с нагрузкой, и решать, дальше что делать.
Когда Атака мощнее ресурсов сервера то что тут поделаешь ? ;)
Распределённая атака по 1 запросу дёргают боты, сложная ситуация.
Где там "по одному запросу"? Даже я, не особо приглядываясь - нашел в листинге несколько идентичных IP.
Когда Атака мощнее ресурсов сервера то что тут поделаешь ? ;)
Атака мощнее знаний "защитника". Но вообще, это не самое страшное - я бы поставил на то, что атакующий сможет "вломить" и больше.
zexis, be warned! А вообще, попробуйте редирект ботам подсовывать или JS. Авось они не шибко умные, хоть и много...
Где там "по одному запросу"? Даже я, не особо приглядываясь - нашел в листинге несколько идентичных IP.
Атака мощнее знаний "защитника". Но вообще, это не самое страшное - я бы поставил на то, что атакующий сможет "вломить" и больше.
zexis, be warned! А вообще, попробуйте редирект ботам подсовывать или JS. Авось они не шибко умные, хоть и много...
Вломить больше, знаний ? :) - просто пытаюсь связать ваши мысли воедино, знание - и вломить больше.
myhand - Понятно что вам не видно боты не часто дёргают тяжолую страницу. Зачем часто?, хотя надо бы показать лог за 5 минут например, в виде файла, что бы оценить количество запросов, но если там бот-нет из 15 к то врядле 5 минут покажет результат.
Вломить больше, знаний ? :)
Трафика.
просто пытаюсь связать ваши мысли воедино
Не пытайтесь. Для Вас обычно является непомерной задачей сформулировать собственные "мыслИ". Не хочу отвлекать Вас от этого - авось когда-нибудь получится...
myhand - Понятно что вам не видно боты не часто дёргают тяжолую страницу.
Часто. За секунду - я только в приведенном куске вижу до 5 штук одинаковых IP.
myhand -А вы толька задумались?, о траффике после моих слов?, как всё запущенно.
Почемуто мне хочется сказать слова Андрея, холодно-жарко ;)
Если вы видите флуд, только в повторяющихся запросах, в какое-то время ( секунду ) то хочу вас разочаровать, общею атаку можно создать если делать 1 запрос в пол минуты. ;) Вопрос толька в том, какой количество ботов.
zexis - Уменьшай max client - выключи keepalive - установи статическую страницу для ридеректа - переименуй php что бы не грузить apache, nginx выдержит больше запросов, меняют урл?, меняй и ты.
И чё это с Iptables происходит ? по top он нагружен ппц.
Ты только сейчас столкнулся с хитроботами? Поздравляю.
А как же твой софт, который ты предлагаешь для защиты от атак?
Боты обнаруживаются в логах нормально.
Проблема в том что анализ логов и бан ботов происходит раз в минуту.
А так как ботнет большой, то каждую минуту приходит по 50 новых ботов и успевают создать нагрузку, которая блокирует работу сервера.
Большинство ботов медленные. Делают от 5 до 100 запросов в минуту, поэтому лимит limit_req их не блокирует.
Проблема еще усугубляется, тем что сервер не очень мощный
AMD Athlon(tm) II X4 605e
Я не смотрел скрипты самого сайта и запросы к mysql.
Может быть они не оптимизированы.
Вообщем проблему с атакой решить не удается. Здесь нужно заниматься оптимизацией сайта и сервера, для того что бы он держал повышенную нагрузку.