Анализатор логов вебсервера для поиска ддос

1 2345 6
Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#21
netwind:
Да, мы говорим о BGP. Я неправильно вспомнил, вот тут "заблекхолились" :
/ru/forum/comment/5482866
/ru/forum/comment/5243094
(с цисководами вообще нереально общаться без их сленга. удивительно просто. никто больше в ИТ таким не страдает)

На моем уровне понимания BGP, не так то просто заставить трафик попасть в "черную дыру" (очевидно интерфейс null) основываясь на адресе источника, а не назначения. Роутеры, вовлеченные в общий BGP, сами выбирают куда отправлять. Ни о каких ручных правилах речи нет.

Что там на самом деле? хочется наконец увидеть полную картину.

Я имел ввиду не BlackHole из терминологии BGP говоря о Null0 интерфейсе, Null0 это маршрут в некуда, 255.255.255.255, то есть к примеру, есть некий маршрут

hop1->hop2->isp-router1->your-router1->server1

Вот при возникновении проблем на сервере "server1", передать бы по SNMP на "isp-router1" или хотя бы на "your-router1" суть команды "ip route x.x.x.x/32 Null0", тем самым на участке "your-router1->your-server1" прекратится маршрутизация пакетов с указанного ип адреса в любую сторону, а это означает что пропадает нагрузка с внешнего интерфейса на сервере "server1", но идеальный вариант когда это выключается на стороне "isp-router1", тогда вы еще не попадаете в трафик....

Что же касается bgp blackholes, если мне не изменяет память, это дает возможность как вы сказали "убрать анонс" в сторону апастрима, причем вплоть до того что из анонса x.x.x.x/24 в сторону провайдера, можно заблекхолить x.x.x.x/32 блок.... НО, это означает , что для этого ИП пропали все маршруты нафик... я думаю, что выключив сервер из розетки, получим тот же эфект, суть же частичного Null-route (null0) заключается в том, что нагрузка вашего доса отрезается на вашем же внутреннем оборудовании, да... к вам допустим еще валит 80MB доса но он осаждается весь на тачке которая прерывает роут (или железка) а сервер который досят и остальные клиенты которые посещают остальные сайты работают нормально.... сервер не помирает от SYN/FIN и прочего ;) А в это время вы звоните в свой ISP и решаете вопрос мега трафика в вашу сторону..... если это Incoming :) Это на случай когда все плохо, но если есть возможность получить Blackhole community это должно облегчить жизнь, но не забываем, исключив BGP анонс мы теряем ВЕСЬ трафик на IP адрес, он перестает существовать в целом мире, по этому со стороны отправителя DDOS в сторону указанного ИП получается максимум 1-2 хопа (местная сеточка) а больше ... ничего... и ДДОС как бы локализуется на стороне отправителя, но вы в этот момент курите тоже :)))

Romka_Kharkov добавил 08.02.2010 в 03:53

netwind:
Роутеры, вовлеченные в общий BGP, сами выбирают куда отправлять. Ни о каких ручных правилах речи нет.

А что Policy Base Routing отменили?

Есть около 15.000 ipv4 !!! (http://onyx.net.ua/price.php#ipv4) Качественный хостинг с 2005 года - лучшее клиентам! (http://onyx.net.ua/)
M
На сайте с 01.12.2009
Offline
235
#22
Romka_Kharkov:
Готов сделать - я думаю любой, у каждого можно найти тачку с двумя сетевками, поставить ее в разрез аплинка скажем на 1 шкафчик, и передать пользователям логин и пароль для некого веб интерфейса который будет путем того же ipfw закрывать это все дело но гораздо раньше нежели на собственном интерфейсе. А вот кто из провайдеров хочет это делать.....

Готов сделать - я думаю любой, у каждого можно найти тачку с двумя сетевками, поставить ее в разрез аплинка скажем на 1 шкафчик, и передать пользователям логин и пароль для некого веб интерфейса который будет путем того же ipfw закрывать это все дело но гораздо раньше нежели на собственном интерфейсе. А вот кто из провайдеров хочет это делать.....

---

Вот тут по подробней, не совсем пойму.

Я взял сервер например у меня 2 карты (cart0,cart1) и вот ту на одну cart0 флудят 80 порт,80 мегабит, я её лочу типа так ipfw add deny ip from any to any 80 via cart0 дальше что ?

Сижу на 22 порте с 20 мегабитами,на cart0 :), есть вторая карточка cart1 что вы можете предоставить на этот случай ? не пойму алгоритма работы :)

P.s Привет Рома рад тебя видит warzoni )))

Администратор Linux,Freebsd. построения крупных проектов.
N
На сайте с 06.05.2007
Offline
419
#23

Провайдер ведь все равно получает трафик по вашей схеме. Не будет он ставить еще один ПК-тазик только для фильтрации.

А что Policy Base Routing отменили?

Думаю, его никто и не разрешал на магистральных маршрутизаторах.

Мне интересно как можно блокировать IP именно атакующего с помощью партнеров еще на подходе ?

blackhole community что-то не очень прикольно выглядит.

Допустим, если анонсировать в этом blackhole community сеть-источник ddos-а и все партнеры включат проверку маршрута источника (который по-вашему uRPF) трафик от источника ddos ведь там и загнется?

Кнопка вызова админа ()
zexis
На сайте с 09.08.2005
Offline
388
#24
Romka_Kharkov:
железные решения должны быть на стороне провайдера, а у клиентов должны быть ключи для работы со своим каналом(окружением) у провайдера (некий аналог "BGP community" только по отношению к листам доступа), фактически access_list где перманентно дестенейшон указан на ваш ИП, и вы манипулируете только входом к себе на сервер,

Romka_Kharkov, гениальная идея.

Сам об этом думал, но не готов был сформулировать.

Софтовая антиддос защита на сервере – хороша тем, что позволяет без больших финансовых затрат блокировать небольшой и средний ддос, а также мелких пакостников, которые на крупные сайты приходят довольно часто.

Также достоинство антиддос софта на сервере в том что он может использовать логику работы сайта и может находить ботов нарушающих логику работы сайта.

Также можно делать различные ловушки, которые эффективно находят ботов.

Из за 2-3 мелких пакостников ставить коммерческую защиту ценой более 500$/месяц не оправданно.

Ведь различными ловушками IP адреса ботов мелких пакостников определяются довольно точно в автоматическом режиме.

Мне видится очень эффективной идея, что бы софтовая антиттдос защита на сервере клиента автоматически отправляла бы списки обнаруженных IP адресов ботов магистральному провайдеру или в датацентр, что бы он их блокировал на входе в сам дата-центр.

Надеюсь, что если такая задача будет поставлена, то найдутся датаценты, которые смогут эту услугу реализовать. Это была бы очень полезная услуга для многих.

Тогда удастся побороть главный минус софтовой антиддос защиты на самом сервере, что она пока бессильна перед атакой превышающей пропускную способность канала.

M
На сайте с 16.09.2009
Offline
278
#25
zexis:
Мне ведется очень эффективной идея, что бы софтовая антиттдос защита на сервере клиента автоматически отправляла бы списки обнаруженных IP адресов ботов магистральному провайдеру или в датацентр, что бы он их блокировал на входе в сам дата-центр.

Надеюсь, что если такая задача будет поставлена, то найдутся датаценты, которые смогут эту услугу реализовать. Это была бы очень полезная услуга для многих.
Тогда удастся побороть главный минус софтовой антиддос защиты на самом сервере, что она пока бессильна перед атакой превышающей пропускную способность канала.

Интересно, как бы выглядела такая блокировка для клиентов. Бот - это просто

компьютер какого-то честного Васи, который вполне может быть пользователем

одного из сайтов в ДЦ. Да еще и с динамическим IP.

Защита ведь, кроме прочего, еще и привязана к серверу. Каждый в ДЦ

аннонсирует _свой_ "плохой тырнет".

Абонементное сопровождение серверов (Debian) Отправить личное сообщение (), написать письмо ().
Raistlin
На сайте с 01.02.2010
Offline
247
#26

Если уж на то пошло, то у меня есть один юзер, который открывает по 15 сайтов на одном сервере... пару раз он выйграл бан. Так как у него опера запустилась и прогрузила все сайты разом... csf заблокировал его за 400 коннектов :-D. Так что это обоюдоострое оружие. Или блочить траф будете для определенного клиента? Ох, сколько ресурсов и времени потребуется на реализацию подобной системы... ЧТобы оно все работало и не глючило...

HostAce - Асы в своем деле (http://hostace.ru)
Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#27
madoff:
Готов сделать - я думаю любой, у каждого можно найти тачку с двумя сетевками, поставить ее в разрез аплинка скажем на 1 шкафчик, и передать пользователям логин и пароль для некого веб интерфейса который будет путем того же ipfw закрывать это все дело но гораздо раньше нежели на собственном интерфейсе. А вот кто из провайдеров хочет это делать.....
---
Вот тут по подробней, не совсем пойму.

Я взял сервер например у меня 2 карты (cart0,cart1) и вот ту на одну cart0 флудят 80 порт,80 мегабит, я её лочу типа так ipfw add deny ip from any to any 80 via cart0 дальше что ?

Сижу на 22 порте с 20 мегабитами,на cart0 :), есть вторая карточка cart1 что вы можете предоставить на этот случай ? не пойму алгоритма работы :)

P.s Привет Рома рад тебя видит warzoni )))

Здарова, здарова ;)

Предложенная схема не есть решением проблемы с ДДОС, это есть временное решение, да бы не отключать сервер целиком и не рисовать блекхолы в миру, висите вы на своем маршрутизаторе на который 80MB/s льется... и висите... а аплинк 1GB/s в чем проблема? Пока остальные клиенты нормально пробиваются в порт сервера и смотрят сайты, целевой ддос заканчивается за 1-2 интерфейса до вашего сервера.... конечно же ваш роутер "терпит" эту нагрузку, но повторяю еще раз сайты с сервера "за ним" открываются дальше.......

А как вы начнете решать свою проблему с досом, это уже второй вопрос, главное, что пока вы ее решаете сайты с сервера отдаются нормально.

Romka_Kharkov добавил 08.02.2010 в 15:06

netwind:
Провайдер ведь все равно получает трафик по вашей схеме. Не будет он ставить еще один ПК-тазик только для фильтрации.

Думаю, его никто и не разрешал на магистральных маршрутизаторах.

Мне интересно как можно блокировать IP именно атакующего с помощью партнеров еще на подходе ?
blackhole community что-то не очень прикольно выглядит.
Допустим, если анонсировать в этом blackhole community сеть-источник ddos-а и все партнеры включат проверку маршрута источника (который по-вашему uRPF) трафик от источника ddos ведь там и загнется?

Если вы говорите про магистральных транзитов, конечно же нет, PBR-ом там и не пахнет, ессесно, но я говорю не о схеме когда вы договорились со всем интернетом и путем нажатия одной кнопки замочили сервер нарушитель, а говорю о том, что когда досят ваш сервер за частую он умирает по пропускному каналу, или по процу\памяти (в случае ддоса скажем на ВЕБ приложение какое-то). А так появляется возможность съедая трафик паразитивный отсеять в null0 или еще лучше предать анализу на соседней тачке :)

Romka_Kharkov добавил 08.02.2010 в 15:10

zexis:
Romka_Kharkov, гениальная идея.
Сам об этом думал, но не готов был сформулировать.

А то 🍿

zexis:

Из за 2-3 мелких пакостников ставить коммерческую защиту ценой более 500$/месяц не оправданно.

Эм 🤪 ...... простите, это что за девайс такой за 500$ в месяц, как минимум можно купить за 1000-1500$ (одноразово) защиту и не парится, хотя вроде как есть варианты и дешевле.

Romka_Kharkov добавил 08.02.2010 в 15:13

Raistlin:
Если уж на то пошло, то у меня есть один юзер, который открывает по 15 сайтов на одном сервере... пару раз он выйграл бан. Так как у него опера запустилась и прогрузила все сайты разом... csf заблокировал его за 400 коннектов :-D. Так что это обоюдоострое оружие. Или блочить траф будете для определенного клиента? Ох, сколько ресурсов и времени потребуется на реализацию подобной системы... ЧТобы оно все работало и не глючило...

А что глючить то может? ipfw + apache + php(or perl) ?

Конечно продакшн версия это не пара скриптов, но с точки зрения "проверить\попробовать" вполне реальная затея и ничего сложного лично я не вижу в этом...... Еще раз говорю, простой шейпер справится с аналогичной задачей, в более менее правильном ключе, он конечно не разберет где ДДОС а где клиенты, у него задачи другие, но залочить по SRC/DST входящий .... это блин вЕнда умеет простите :)

Romka_Kharkov добавил 08.02.2010 в 15:25

netwind:
Провайдер ведь все равно получает трафик по вашей схеме. Не будет он ставить еще один ПК-тазик только для фильтрации.

Думаю, его никто и не разрешал на магистральных маршрутизаторах.

Мне интересно как можно блокировать IP именно атакующего с помощью партнеров еще на подходе ?
blackhole community что-то не очень прикольно выглядит.
Допустим, если анонсировать в этом blackhole community сеть-источник ddos-а и все партнеры включат проверку маршрута источника (который по-вашему uRPF) трафик от источника ddos ведь там и загнется?

Ключевая фраза "и все партнеры включат проверку маршрута источника", а так в принципе все верно, если создать список неких блекхолов на который будет опираться весь мир, то путем занесения злоумышленника в этот лист мы прекратим ДДОС в течении нескольких минут. Я сталкивался с разработкой аналогичных реализаций, но это был TCL/tk и несколько отличное от BGP окружение ;) Сравнивать смысла не вижу, но уже есть разработки аглоритмов составления общих списков, путем голосования, модерации и принятия решений системой (извращались тогда как могли, это был проект для IRC сетей назывался UBL).

N
На сайте с 06.05.2007
Offline
419
#28
Romka_Kharkov:
Ключевая фраза "и все партнеры включат проверку маршрута источника", а так в принципе все верно, если создать список неких блекхолов на который будет опираться весь мир, то путем занесения злоумышленника в этот лист мы прекратим ДДОС в течении нескольких минут.

Ну почему весь мир? Пусть включат не все, а те кто могут. Я, гипотетический "центр детекции ддос", им за это может платить готов.

zexis
На сайте с 09.08.2005
Offline
388
#29
myhand:
Интересно, как бы выглядела такая блокировка для клиентов. Бот - это просто
компьютер какого-то честного Васи, который вполне может быть пользователем
одного из сайтов в ДЦ. Да еще и с динамическим IP.

Защита ведь, кроме прочего, еще и привязана к серверу. Каждый в ДЦ
аннонсирует _свой_ "плохой тырнет".

Это может выгладить так, например.

Владелец сервера отправляет по заранее согласованному протоколу файл со списком IP, которым нужно запретить доступ.

Софт датацентра принимает этот файл и запрещает вход IP пакетов в которых указан адрес отправителя из этого списка и адрес получателя – IP сервера.

Также можно организовать удаление IP из черного списка – либо по таймауту, либо по специальному (программному) запросу клиента.

Andreyka
На сайте с 19.02.2005
Offline
822
#30

Сейчас DDOS идет с компов легитимных пользователей

Будьте готовы терять часть трафика блокируя целиком по IP а не фильтруя аномальные запросы

Не стоит плодить сущности без необходимости
1 2345 6

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий