Есть ротация логов и команда tail.
Так что парсить гигабайтные логии не нужно.
Сейчас в 95% случаев http-флуда атакуются только динамические страницы.
Хотя статику, конечно, тоже могут атаковать.
Логии доступа к статике тоже нужно автоматически анализировать, но с более высокими лимитами. Для некоторых сайтов, возможно, потребуется корректировка лимитов под каждый тип файлов, что бы снизить количество ложных срабатываний.
Защищенный от ддос сервер не должен отдавать статику ботам, так как это может привести к существенному повышению исходящего трафика и переполнению канала.
Автоматическая защита должна работать постоянно.
Ведь админы не могут быть наготове 24 часа в сутки, 7 дней в неделю и ждать атаку, что бы включить вручную защиту.
Если автоматической защиты нет, то сайт будет несколько часов не доступен, после начала атаки, пока админы не проанализируют атаку и не включат нужные фильтры. Для серьезного сайта даже 10 минут простоя – недопустимо.
Автоматическую защиту можно настроить так, что бы она начинала банить, только при превышении суммарного количеств коннектов или запросов некоторого порога. Что бы исключить ложные срабатывания, когда нет атаки.
Сейчас у меня хорошо отлажена автоматическая защита от HTTP флуда, которая имеет минимальные ложные срабатывания.
Минус моей защиты сейчас в том, что нужно предварительно настаивать в nginx для каждого локейшена свой лог файл и в настройках защиты прописывать его парсинг с заданными параметрами.
Поэтому, если сайтов на сервере много, то прописать парсинг логов каждого сайта – будет довольно трудоемко.
Я думал над тем, что бы автоматизировать парсинг логов, для случая, когда на сервере множество небольших сайтов. Думаю, это вполне решаемо. Но уйдет на создание такой системы у меня около месяца и в последующем нужно будет постоянно контролировать работу этой автоматизированной системы. А так как услуг виртуального хостинга я не оказываю, то мне такая система пока не нужна.
Те кто серьезно занимаются ддос защитой, заносят подсети поисковиков в белые списки, и не банят их ботов.
Отследить подсети поисковиков задача вполне решаемая.
zexis добавил 27.04.2011 в 09:28
Эта проблема решается если вести отдельные логии для локейшена со статикой и динамикой в nginx.
В 99% атак атакуются только динамические страницы.
Так что парсить можно только логии запросов к динамическим страницам.
В этом случае решается проблема ложных срабатываний, когда на одной странице сайта расположено 200 статических файлов.
Года 1,5 назад они продавали WMR с доплатой клиенту 1,5%.
Купил у них 400к WMR в их офисе.
Прошло тогда все гладко.
Да, многие датаценры за мощность сервера берут максимальную мощность блоков питания. А если блоков питания два, то их суммарную мощность.
Хотя реально сервер может потреблять в несколько раз меньше.
Я считаю это не выгодным для клиентов.
Так как за сервер с 2-мя блоками питания (2*700вт=1400 Вт) придется доплачивать 6000 рублей. Хотя реально он потребляет менее 250 Вт.
Блоки питания у хорошего сервера имеют сертификат Gold, по энерго эффективности, то есть очень экономичные.
Я сейчас размещаю сервер в датацентре, где считают мощность сервера по фактическому потреблению питания. (замеряют мощность перед установкой сервера)
Плачу 4000 рублей в месяц и потребляю трафика 7 Тб/мес
Не буду здесь называть ДЦ в котором сейчас размещаюсь.
Перед выбором ДЦ хотел разместится в другом ДЦ, где colo стоит 2500 руб/мес, но выяснилось там мощность сервера считают по максимальной мощности блока питания, и нужно много доплачивать за мощность, поэтому от того ДЦ отказался.
zexis добавил 22.04.2011 в 14:24
У них все ясно написанно на сайте
http://firstdedic.ru/collocation
http://firstdedic.ru/traffic_type
Неограниченный трафик для размещения сервера на скорости 100Мбит стоит 10 000р/мес
zexis добавил 22.04.2011 в 14:29
Странно получается.
В датаценре (webdc.ru), в котором они размещаются, даже при аренде стойки не дается безлимитного трафика.
Вот тарифы указанные на сайте датацентра webdc.ru
Трафик без учета соотношений (полоса) 10 мбит/с* - Бесплатно
Доп. трафик без учета соотношений (полоса) 1Мбит/с - 150р./мес
А они размещаясь в этом датацентре, предлагают своим клиентам безлимитный трафик на скорости 100мбит/сек.
Как такое может быть?
Интересное предложение.
У вас написано на сайте.
В стоимость услуги размещения сервера входит:
- Потребление электроэнергии до 250 Вт
- Дополнительная мощность 100 Вт — 500р./месяц
Вопрос.
Как вы меряете мощность сервера?
1) фактически замеряете мощность сервера тесетром?
2) Или за мощность берете максимальную паспортную мощность блоков питания?
Для примера, у меня сервер супермикро с двумя блоками питания по 700Вт каждый.
Но по замерам тестером сервер в пике нагрузке берет от сети не более 200-250 Вт.
Как вы будете считать мощность такого сервера?
в чем интерес специалисту идти к вам наработу, а не найти заказчиков самомму и брать все себе от них?
в чем заключается способ?
Как он работает?
Предложение интересное.
Но хотелось бы выяснить как можно застраховаться от такой ситуации.
Например, через 2 недели после успешной сделки владелец кошелька пишет заявление в арбитраж, что у него был взломан WMID (Или скажет, что его вынудили перевести деньги обманом) и просит вернуть WMR.
Ситуация реальная, сам был в такой, когда через 2 недели партнер по сделке заявлял, что WMID был украден и просил вернуть деньги. (сумма к счастью была не большая)
Арбитраж в этой ситуации блокирует кошелек получателя и просит либо деньги вернуть, либо отказ в обслуживании. И не какие доводы вообще не слушает. Если нет доказательств, совершенной сделки.
Я так понял, что нужно заключать письменный договор или еще какой то контракт, что бы потом сделка не была оспорена.
Как вы предлагаете проводить и оформлять продажу WMR?
