Как фильтруют ддос ботов, полностью имитирующих работу браузера.

Да, они поустойчивее, но ограничивается свобода управления DNS.

На своём DNS можно поднять 2 view-зоны (внешнюю и внутреннюю) и в зависимости от IP резолвить запросы на разные веб-сервера или просто резать DNS-запросы с ненужных IP.

Во внутреннюю зону нужно занести Себя, IP поисковиков, Sape и тп.

То есть ПС индексируют сайт на одном хостинге, а юзеры ходят на другой (или на даже на другие).

Тогда DDoS-ом сайт из индекса ПС не выбить, проверено на атаке наших "местных спецслужб", которые досили ТОП10 Яндекса по нужному им запросу.

Сайты были в индексе пока они не позвонили и не предложили прийти в гости :)

PS: kxk, извиняюсь за опечатку, русская Л это латинская K на клавиатуре

Ладно, палю тему - я сегодня бобрый 🤣

Выводим на глагне 3 ссылки

В одной пишем - "для человеков"

В другой - "для ботов"

В третьей "для спаммеров"

Ну а дальше отлавливать IP да банить

P.S. Ссылки для ботов еще можно делать невидимыми, только исключайте из индексации а то забаните поисковики хыхыхы :)

Так можно отловить ботов, сканирующих сайт. А dDoS-ят и внутряки по запросам из ТОП Яндекса.

Ой. Видел я регистраторов и с "NS" в виде двух полудохлых ящиков в 1 стойке. :)

Тогда уж к надежным платным\бесплатным, вроде zoneEdit.com (маленькая конторка U.S. Government выдержит любой DDoS) :)

кстати с вечера четверга до субботы в рунете была весьма большая ДДОС-атака на сайты о недвижимости.

ботнет более 50к хостов.

в итоге почти все лежали.

Таки не все. :)

DJ_AlieN, Кто пожадничал на защиту тот и лежал :)

Немного мыслей...

• Если на сайт штатная посещаемость порядка 100 челов в час, то можно сильно не переживать и тупо тех кто за 1 час во время доса заходит отсылать в бан. За время атаки накопите 30 000 ip в бан и если в них попадёт 100 челов, то ничего страшного. Лучше так, чем вообще сайт упадёт.
zexis:
Атака была заблокирована следующим образом.
Все IP адреса которые в течении времени атаки зашли на сайт были занесены в фаервол.
За исключением IP адресов поисковиков и IP зарегистрированных пользователей.
Эта процедура делается автоматически антиддос софтом, в том случае если количество запросов выше критического, а обнаружить IP отдельных ботов антиддос защите не удается.
• По поводу невидимых ссылок - смысл есть. Но нужно будет делать не одну невидимую ссылку, а раз 5 больше, чем остальных на странице. Так увеличивается вероятность поимки ботов. Но размещать их следует в js, если бот их отлавливает. Так как наличие кучи ссылок может ухудшить индексацию, а мы же не только выжить во время доса хотим, но и в поисковиках не потерять ничего.
• Каптча - тоже приемлемое решение! Во время атаки, вполне можно применить. Просто выдавать не всем, а только подозрительным заходам. Например, если в штатном режиме на сайт заходят в основном из России, то всем забугорным можно пихать каптчу. Конечно, про роботов поисковиков не забываем, их не каптчим).

Вывод: в каждом случае нужно внимательно разбираться, но времени как правило очень мало и нужно иметь готовые скрипты, которые успеют собрать быстро достаточно инфы для принятия решения и применять комплексный подход.

Для отлова и защиты:

• геотаргетинг
• скрытые ссылки - ловушки
• каптча

Для уменьшения числа пострадавших:

• поисковики не фильтровать
• старые ip посетителей из истории посещений сайта не фильтровать

Но если ботнет 50 к хостов и сайт на одном серваке, то его всё равно завалят. Защиту нужно делать на аппаратном уровне, плюс распределение нагрузки по сервакам.

DyaDya, Можно и без распредения нагрузки если этот самый аппаратный уровень не старый селерон с фрёй, а нормальная железяка + есть возможность blackhole, а не тупого бана iptables (или ipfw) + конечное приложение нормально настроено и размещено на достойном железе.

Возможно Вы правы. Но у меня таких проблем нет и не было. По крайней мере с Яндексом. Я конечно не следую указаниям help.yandex.ru один в один, но начало было положено именно там. И по этой схеме начал работать с другими ПМ. На сегодня выделяю/идентифицирую 17 ботов ПМ. Поисковики открывают с моих ресурсов по 120К страниц за сутки. Это конечно мелочи, для большинства тут присутсвующих, однако этого достаточно, чтобы делать выводы о более-менее правильной модели идентификации.

Всё верно. Подход должен быть комплексный. Хотя по поводу значимости/важности работы днс при работе дос сети я готов ещё поспорить. Но не в этой ветке.

Стоп-стоп-стоп!

"Ненужные IP" - как это понять? Топ то по теме как сортировать ip на нужных и ненужных.

Единица бот сети - это обычный усер, прохлопавший ушами и допустивший установку на свой комп левого процесса (вирус, кому как удобнее читать), который пораждает процесс браузера и управляет им согласно инструкций, получаемых от сервера владельца/создателя.

В этом случае юсеры и будут ходить на "правильный", другой сервер.

Если что не так - вразумите.

kxk прав, большинство днс у себя не держит, а пользуется услугами регистратора.

Скажу наперёд, никаких проблем от "днс у регистратора" в борьбе с ддосом лично я не вижу. По опыту: приходилось отбиваться от слабеньких в 10-15М, одного двухнедельного в 50М, где сервера днс были у регистратора r01. Никоем образом это не мешало. Отбились. Хотя это конечно мелочи, а не ддос - балавство по сути: доводилось участвовать в битве от 200М нагрузки (чуть больше 200М), но там и сервер был не один, и канал не 100М.

Моё мнение: вытаскивать за прошлые временные периоды смысла нет. Тем более за вчера.

Атаки как правило на час не бывает. Если разве что школьники, как тут уже говорилось, глумятся.

Во-первых, боту ничего не стоит распознать невидимую ссылку, во-вторых, Вам нужно будет генерить два вида контента - один для ботов ПМ (нормальный), второй - для всех остальных, чтобы им ловить ботов. И это всё в условях атаки, когда количество подключений растёт лавиообразно и каждое прерывание проца на счету. Не знаю как остальным, но мне почему-то в голову это не приходило, и как методу защиты я это не рассматриваю.

Согласен. Это нормальное (правда частичное) решение проблемы для вебмастеров, в чьём распоряжении не так много денег, выделеный сервер и руки не из тазовой кости.

С этим нужно как можно более осторожно: боты управляются людьми. И если человек видит, что режут все адреса забугорные, то трафик можно частично конвертировать в русскоязычный. А на сервере стоит геоайпи, которое тоже ресурсов для работы хочет.

Почти весь ютел сидит на адсл, и айпи динамические. Как быть?

Да не сказал бы. Очень спорно. В теории конечно да, но ведь в практике не всегда и ддос получается качественный - очень много в этом деле доморощеных ддосеров, уровень познаний которых получен путём изучения хауту в сети. 50 к это серьёзная сеть, спору нет, но время её существования не так велико, и с ней тоже можно бороться, поверьте.

Удивитесь, на аппаратная защита не так эффективна как о ней думают.

У ТС проблема. Условия описаны подробно. Но как-то мало конструктива. Переливание "из пустого в порожнее". А при этом проблема всё актуальнее.

Я разделяю несколько рубежей в моей защите от ддос:

1) Мониторирование

2) Распознавание

3) Меры по блокированию атакующего трафика

4) Меры по увеличению эффективности/производительности ПО

5) Анализ нагрузки самого содержимого сервера и его оптимизация.

Готов общаться/делиться опытом в личке или любым другим способом, если заинтересованные по каким-то причинам не желают общаться открыто.

server.it добавил 26.04.2010 в 08:04

Кстати, всем читающим топ, у ТС есть ещё веточка про UDP флуд. Советую обращать внимание и на эту проблему, т.к. если сайт заказали, то ддос может показаться не таким уже и страшным явлением. Бороть такой флуд значительно сложнее, чем отбиться от ддос.

server.it добавил 26.04.2010 в 08:23

То, что сайты лежат, я считаю, это глупость админов.

Смотрите сами: есть смысл ддосить сайты только те, функционал которых на высоком уровне. Для АН вополне можно было избежать потерь от ддоса, ввиде неотвечающего сайта. Выкиньте статическую страничку: извините, у нас неполадки с оборудованием, решим в ближайшее время, если есть вопрос, мы можем ответить по телефону или по почте или ещё что-то в этом духе - писать красиво не умею, но придумать можно по идее. Эту страничку под энджиниксом можно раздавать и большему количеству ботов и всем кто заходит.

Не прокатит, если на шереде стоит иди вдс. Но в Москве то АН может себе сервер позволить за 30к или кризис не позволяет?

Конечно, это не выход в борьбе с ддосом, но, чтобы не потерять клиентуру, не потерять репутацию админу - это малая кровь, на мой взгляд.

И главное, что это можно достаточно быстро развернуть. При постоянных проблемах нужно конечно уже искать адекватные решения. На край тому же кхк залатить и думаю, это будет лучше, чем сайты будут лежать.

Или я не прав в своих выводах?