Как фильтруют ддос ботов, полностью имитирующих работу браузера.

Вы как думаете? Яндекс любит свой NAROD ? )

С нетерпением жду продолжения и теряюсь в дагадках, как это можно применить для борьбы с ддосом)

server.it добавил 26.04.2010 в 20:38

Кстати, вот неплохую текстовочку для московских лежачих АН нашел:

Ведутся технические работы

Наш сервер сильно устал или перегружен запросами.

В любом случае, мы снова скоро будем работать, зайдите, пожалуйста, немного попозже.

Не понятно как вы находите HTTP флуд без анализа логов access.log?

Я полагаю, что анализ логов access.log – это ключевой способ поиска HTTP флуда.

Делать это можно раз в минуту по крону

Вот здесь я писал про анализ логов

/ru/forum/451121

Какие же вы способы используете для поиска IP ботов, если лог сервера не анализируете?

Я думаю все, что там сказано в первом посте, это 90% всего, что можно было бы сделать, дальше все упирается в возможности сервера и канала. Не исключено, что большой сервер с большим каналом может успешно блокировать большой ддос без использования аппаратных средств. Ведь все индивидуально, у кого-то друпал или джумла или битрикс, и каждый чих пользователя уже 100 запросов к mysql, а у кого-то в пределах 10 запросов или вообще часть сайта, созданную в cms, можно экспортировать в html.

Из темы вынес план, практики нет, но если случай представиться, будет повод опробовать.

1. не использовать apache и панель управления, чтобы не мешалась, только ручная настройка.

2. сервер минимум 32 гига памяти, соответствующие процессоры, 1 гигабит безлимтный трафик.

3. найти или написать софт, который оперативно добавляет при резком увеличении числа соединений ненужную русскому сайту часть интернета в файервол (заготовленный список). 10-15% пользователей иностранных для русского сайта при условии, что иностранных ботов 80%, - это несущественная потеря, а масштабы атаки сразу могут быть и не ясны, поэтому лучше все же забанить, чем зависнуть от слишком большого трафика.

Поисковиков ип диапазоны естественно не добавлять. О тех ботах поисковиков, которые проверяют сайты на вшивость, и возможно ходят с других ип, - правильному популярному сайту, сидящему в топе по многим запросам, нет смысла волноваться. Для репутации сайта поисковику порой достаточно чтобы был в ЯК и ДМОЗ, то есть человек просматривал сайт, значит все ок. А если кто-то выложил 100 гигабайт дорвеев на 1000 доменов, то тогда конечно проверка на вшивость неминуема такому проекту. А временную недоступность при запросе с 1 ип или нескольких, но доступность с другого ип или нескольких, любой цивилизованный поисковик сочтет за перегрузки и выкидывать из топ не станет, тем более что, кто как не поисковик реально знает географию посетителей конкретного сайта.

4. fail2ban или подобная прога для анализа логов - для поиска ботов. Я сталкивался 1 раз с атакой на ssh с полусотни ип из разных стран, конечно это мелочь, но наводит на мысль, что цель атаки может быть разной, вдруг несколько тысяч ботов начнут подбирать к чему-то пароли, поэтому инструмент для анализа логов должен быть универсальным и предусматривать и такие сценарии. Признаки для бана за активность на сайте составлять, опираясь на обычную статистику сайта и поведение пользователей на нем. Смысла отсеивать ботов, имитирующих браузер, не видно, раз все у них как у людей. Разница между человеком и ботом должна проявляться скорее именно в патологической активности, не характерной для пользователя, в условиях конкретного сайта и его особенностей. Если нагрузка спадает, постепенно открывать закрытые страны (тоже автоматизировать), и таким образом по частям разбираться со всеми.

PRelude, Палю тему, современные боты берут не качеством те куча коннектов в один урл, а колличеством своим :)

Настоящий гигабитный анлим стоит денег, хороших денег, в данном случае действительно дешевле заплатить сервису :)

Также сразу говорю iptables вы гигабит не отобьёте у вас Netfilter раньше умрёт, сервер с 32 гигами памяти стоит очень мощных денег от 1000$ (если конечно не лоукост в США с ужастным каналомс и скоростью).

Про то, что стоит дорого такой сервер, знаю, на халяву не рассчитываю. Идеальных хостеров не существует, то что в США дешевле это понятно. Про iptables ясно, но есть ipset, вроде бы он быстрее. План может и поменяется, антиддос хостеров у буржуев много, я штук 20 насчитал, так что если что будет куда обратиться понабивать шишек.

PRelude, Антиддос хостеров которые сами постоянно лежат (те что absolutely free) или типа Стаминуса любящие выставлять счета огого или Драгонара отвечающая на почту раз в неделю.

Про Ipset

Гигабит фильтруется pf на тюненной OpenBSD с нормальным количеством памяти и кошерными сетевками. И даже не один.

Ессесно о какой-то интеллектуальной фильтрации, statefull firewall и пр. речи не идет. Просто правила, причем написанные достаточно прямыми руками человеком, понимающим логику файрвола и затраты ресурсов.

Понятно. Про обоих знаю, читал отзывы. Драгонара не устроит прежде всего как рассадник хрумеров, нафиг такая карма солидным проектам, а то будет как с 3fn или им подобным, или каким-нибудь макхостом, который даже после краха шлет клиентам. ушедшим 2 года назад, инфу о том, что акк клиента уже восстановлен и скоро будет доступен. Насчет стаминуса и выставления счетов не знал, но подозревал, что это игра в выставление счетов. Я не очень верю вообще antiddos хостерам, сколько у них там трафика отфильтруется и дойдет до сервера и дойдет ли вообще, а клиент и не узнает. Поэтому скорее всего предпочту сам во всем разобраться, понять, что и как работает, нежели становится клиентом анти ддос хостинга. В общем клиент из меня никудышный, если ты намекаешь сдаться и доверить работу профессионалам, ;) Я лучше сам как-нибудь. :)

Про ipset сказано в теме, что он самый последний из svn, значит вполне возможно автор любит все новые пакеты, подключает тестовые репозитарии и отлавливает баги. У меня вылазили конфликты в yum после установки последней версии php для centos из тестового репозитария, так что тут видимо как повезет - баг на баге и багом погоняет.

PRelude добавил 26.04.2010 в 22:57

Это интересно, надо будет почитать, посмотреть.;)

ну кончилась память в ядре "при миллионах ip", что еще ожидать? ему даже не отвечают на опеннете - сразу видно мальчик-дебил.