Как фильтруют ддос ботов, полностью имитирующих работу браузера.

zexis
На сайте с 09.08.2005
Offline
388
17451

На днях столкнулся с интересным ддосом (http-флудом).

Примерно в течении часа на сайт пришли боты примерно с 30 000 разных IP адресов.

Приблизительно 80% IP зарубежные, 20% IP - российские.

Каждый бот делал примерно 2-6 кликов к PHP страницам сайта в минуту.

За каждым кликом по страницам шло обращение к файлам jpg и gif на этой странице.

Каждый бот имел свою случайную траекторию кликов по страницам сайта.

При каждом клике правильно указывалось значение поле реферрера.

Каждый бот имел своего юзерагента.

Боты даже скачивали счетчик liveinternet.

Так что сайт стал лидером по посещаемости в рейтинге сайтов liveinternet.

Не смотря на то что каждый бот делает мало запросов в минуту (около 3), но в сумме они делают запросов много.

30 000 ботов x 3 = 90 000 запросов в минуту к файлам PHP.

В секунду это примерно 90 000 / 60 = 1500 запросов.

(Это не считая обращений к файлам jpg и gif на каждой странице)

Атака была заблокирована следующим образом.

Все IP адреса которые в течении времени атаки зашли на сайт были занесены в фаервол.

За исключением IP адресов поисковиков и IP зарегистрированных пользователей.

Эта процедура делается автоматически антиддос софтом, в том случае если количество запросов выше критического, а обнаружить IP отдельных ботов антиддос защите не удается.

Вопрос.

Какие методы и алгоритмы используют для обнаружения интеллектуальных ддос ботов описанных выше?

Есть антиддос сервисы, которые обещают защиту от любых видов ддос.

Но ведь эти сервисы не используют ни список зарегистрированных пользователей сайта, ни установку джаваскриптов на страницы сайта, ни куки.

Как же тогда они обнаруживают ботов полностью имитирующих работу браузера?

Боюсь, что этот вопрос будет актуален для многих веб-мастеров.

Так как в руках у хакеров большие ботсети, и эти бот сети научились полностью имитировать работу браузера.

Сталкивались ли вы с ддосом сайтов которыми вы владеете или поддерживаете?

С ддосм не сталкивался.
35% (26)
Были единичные случаи ддос
40% (30)
Ддос роисходит регулярно.
25% (19)
Всего проголосовало: 75
M
На сайте с 01.12.2009
Offline
235
#1

iptables + TARPIT вешаем 30 000 ботов, хакер жмя на кнопку не понимает почему боты не реагирующий и в ужасе убегает от вашего проекта ))

Администратор Linux,Freebsd. построения крупных проектов.
zexis
На сайте с 09.08.2005
Offline
388
#2
madoff:
iptables + TARPIT вешаем 30 000 ботов, хакер жмя на кнопку не понимает почему боты не реагирующий и в ужасе убегает от вашего проекта ))

Не понял Вашего поста.

Мой вопрос в том, как отличить пользователей сайта от ботов полностью эмитирующих работу бразера.

M
На сайте с 01.12.2009
Offline
235
#3

сори за офф топ раз нету такова у вас вопроса.

Brand from Amber
На сайте с 18.08.2007
Offline
291
#4
zexis:
Но ведь эти сервисы не используют ни список зарегистрированных пользователей сайта, ни установку джаваскриптов на страницы сайта, ни куки.
Как же тогда они обнаруживают ботов полностью имитирующих работу браузера?

А как Вы собираетесь при помощи JS и Cookies, определить бота полностью имитирующего работу браузера ???

Brand from Amber добавил 12.04.2010 в 00:03

zexis:
Мой вопрос в том, как отличить пользователей сайта от ботов полностью эмитирующих работу бразера.

Эти боты ходят при помощи тех-самых (самых настоящих) браузеров. И отличить их можно только при помощи относительных признаков (увеличение загрузки канала и т.п...) и ловушек (невидимые ссылки и т.п...).

Лучший способ понять что-то самому - объяснить это другому.
zexis
На сайте с 09.08.2005
Offline
388
#5
Brand from Amber:
А как Вы собираетесь при помощи JS и Cookies, определить бота полностью имитирующего работу браузера ???

JS и Cookies в антиддос защите могут найти ботов которые не поддерживают JS и Cookies.

Если бот их поддерживает, то проверять JS и Cookies смысла не вижу.

Brand from Amber:

Brand from Amber добавил 12.04.2010 в 00:03

Эти боты ходят при помощи тех-самых (самых настоящих) браузеров. И отличить их можно только при помощи относительных признаков (увеличение загрузки канала и т.п...) и ловушек (невидимые ссылки и т.п...).

Мой вопрос в следующем.

Есть антиддос сервисы, которые декларируют защиту от любых ддос атак.

Как они обнаруживают ботов, которые ходят по сайту и полностью эмитируют работу браузера и пользователя?

Например ботов более 30 000. Каждый бот делает 3 – 6 кликов в минуту.

Пока я нашел только один вариант.

Забанить всех, кто посетил сайт во время ддос атаки, за исключением поисковиков и IP зарегистрированных пользователей.

Есть ли еще методы?

-S
На сайте с 10.12.2006
Offline
Модератор1353
#6

zexis, возможно они делают клики по определенной закономерности, время между кликами, как пример, либо как вариант вводить капчу на время ддоса каждому 10му юзеру (чтобы отсеять часть ботов) или каждому первому, кто сделал более 5 кликов.

S
На сайте с 15.01.2008
Offline
34
#7

DDOS такого вида, самый страшный, после ICMP/UDP флуда.

Мы проблему решаем просто:

1)Ставим капчу и PHP скрипт

2)Если пользователь успешно ввел капчу, он получает специальную куку, которую мы в дальнейшем проверяем в NGINX/PHP скрипте (у каждого пользователя своя кука).

Преимущества:

1)DDOS легко отсеивается

Недостатки:

1)Поисковые боты могут не попасть на сайт (даже если фильтровать по USER Agent, вероятность все равно есть).

Качественный хостинг Unlimits Telecom (http://www.unlimits.ru) (ООО "БизнесТелеКом"). Официальный Twitter канал (http://twitter.com/untelecom). Ознакомиться с нашими услугами можно в этом (/ru/forum/478822) топике.
-S
На сайте с 10.12.2006
Offline
Модератор1353
#8
stack:
Поисковые боты могут не попасть на сайт

Если не решить эту проблему, то смысл всех мероприятий может оказаться бесполезным. Это важный нюанс.

kxk
На сайте с 30.01.2005
Offline
970
kxk
#9

-= Serafim =-, Если руки не кривые поисковых ботов легко выловить :)

Если же кривые, тот тут никакая циска за 200к $ не поможет

zexis, А ключ от сейфа где деньги лежат тебе не дать ? Сам не можешь продавать антиддос услуги так не мешай другим, более адекватным, мне Костичу, Антиддосу, Шарктекам :) Или типа всё надо выложить в паблик ?

kxk добавил 12.04.2010 в 07:57

stack, Ставим капчу и теряем добрую треть легитимных юзеров, если не больше

Ваш DEVOPS
V
На сайте с 25.07.2006
Offline
128
#10
kxk:
zexis, А ключ от сейфа где деньги лежат тебе не дать ? Сам не можешь продавать антиддос услуги так не мешай другим, более адекватным, мне Костичу, Антиддосу, Шарктекам :) Или типа всё надо выложить в паблик ?

Дарагой, если ты продаешь услуги, и кто-то тебе мешает, выкладывая информацию "в паблик", то иди-ка ты в пелотку...

Твоя логика и мораль оправдает небось и организацию доса, чтобы тебе хорошему и самолюбимому работа нашлась.

Приватный linux-администратор

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий