Как фильтруют ддос ботов, полностью имитирующих работу браузера.

например lib.ru

Ага. А потом пользователь начинается материться, когда ему на каждый чих предлагают заполнить зубодробительную капчу, проверить почту, телефон и ICQ, перейти по десятку ссылок..

Или просто закроет вкладку. И будет прав.

Сайт-то для кого? Для посетителя или для спамеров\досеров\краулеров\етц? Если для первого - все фашистские проверки должны быть убраны.

Фильтровать ботов чистым html :)

Реальный серфер по логике уйдет, бот же нет. Исходя из этого, создавать правила для файера.

А если не стандартно подойти к этому вопросу?

К вам идет реальный, живой трафф, у которого все события эмулируются. Почему его не монетизировать? Разделять по гео и отдавать rand_money_page.html в зависимости от партнерки, а потом уже блочить. :)

Завалить проект, рассчитанный на 400-500 тысяч посетителей в день очень тяжело. Но не потому, что сервер мощный или "весь интернет забанен", а потому, что проектируют подобные вещи не домохозяйки.

Соответственно, риск DDoS (как и других вещей, вплоть до пожара в ДЦ) учтен на этапе проектирования и меры безопасности приняты, процедуры отработаны, необходимые ресурсы (финансовые, людские, технические) в наличии есть.

Большинство же такими вещами, как анализ рисков и проектирование IT-инфраструктуры (в которую входит многое, от договоров с ДЦ до закорючек в коде) себя не утруждают, и когда "жареный петух в задницу клюнет" начинают бегать по форумам с вопросами "а чевой-то наш датацентр нас выпнул пинком? как нельзя больше 50 мегабит канала? а мы не читали оферту!11" и т.д.

Не думаю, что все так у всех. У нас в "конторе" всего три человека, и все вышло как хобби, риски учитываются по мере роста квалификации и роста сайта. Сначала сайт малыш, который на виртуальном хостинге, потом поддержка хостинга начинает требовать перехода на впс, потом головные боли с впс, когда хостер намекает на сервер, и оказывается что на виртуальном хостинге даже лучше чем на впс было, потом сервер - вынужденно опять-таки. И так далее. Вот так вот сразу с нуля никто не проектирует сайт с посещаемостью 400-500 тысяч человек, на все примочки просто нет денег, нет опыта и т п То есть не все бизнесы начинаются с инвестиций, кредитов в банке, иногда это просто хоумпейдж, который окупается, начинает приносить прибыль, растет, и вот уже на определенном уровне и начинают готовится к росту посещаемости, к ддосам и прочим приключениям, потому что уже знают, что именно даст трафик, какой он будет, что он будет делать на сайте и т п, то есть опять таки опыт.

Достаточно учитывать не только состояние "в данную секунду", а еще и иметь хоть какой-то план развития. Т.е. апгрейдиться не тогда, когда хостер выгнал, а когда запас по ресурсам уменьшился, перед постом на Хабре провести нагрузочное тестирование, при выводе на первые позиции ПС учесть возможность удара от конкурентов (ddos, spamadvertizing, etc) и т.д.

Я сейчас говорю не о личных блогах\визитках, а именно о коммерческих проектах.

Ошибаетесь.

Возможность того, что сайт наберет 500k посещалки должна учитываться, если она есть. Соответственным образом должна быть продумана и спланирована архитектура проекта (масштабируемость, отказоустойчивость и т.д.).

Образно: Никто не предлагает на старте брать стойку с 40 серверами, 35 из которых будут пылиться. Но иметь ввиду рост нагрузки и предусмотреть возможность взять эту стойку в нужный момент и распределить по ним приложение - жизненно необходимо.

Вы рассуждаете как админ и уходите в специфику и тонкости, у нас же постоянная практика и набивание шишек. Я продумываю "архитектуру" в меру своего понимания и опыта, то есть говоря что 400-500 тысяч посетителей это 50 мегабит в среднем, я уже учитываю, что канал лучше отдельный или платить за трафик и сколько нужно памяти для конкретного проекта, опираясь на те данные, которыми владею. Возможно мои представления о ддос наивны, я не спорю. Если он случится, тогда и будет повод проверить, как действует временный бан всего интернета, учитывая аудиторию сайта. А может быть мы просто переедем на солидный конкретно антиддос хостинг и забудем о проблеме. То есть я хочу сказать, что долгосрочное планирование у всех разное. Если компания большая и денег много и есть цель нагнать 500 тысяч человек на сайт, то тогда и надо рассуждать об инвестициях, но для трех человек, сочетающих в себе в разных долях оптимизатора, менеджера, программиста, дизайнера, админа, контент-менеджера, копирайтера, - рассуждать о долгосрочном планировании нет смысла.

Как можно предусмотреть все риски? Вот пример макхоста и оверсана. Прочел где-то, что на все дела по строительству датацентра оверсан взял кредит 400 миллионов рублей. Ожидал ли он, что его кинет макхост? Скорее всего нет. Куча больших сайтов всерьез повелись на сладкие предложения макхоста. И действительно поддержка там хорошо работала. даже в 5 утра в воскресенье отвечали, когда мы там были на впс, и как раз макхост по тихому намекал с присущей ему жадностью - а не пора ли на сервер. А до известных проблем макхоста они спамили нас своими сладкими предложениями неограниченного трафика и приводили в пример ряд посещаемых сайтов своих клиентов. Но опыт подсказывал, что такое в России невозможно и может плохо кончится, хотя уже были почти готовы заказать сервер, надеясь на чудо и на авось. Как можно было оверсану не предусмотреть риски с макхостом? Бред получается, куча долгов и так уже есть, а клиенты вряд ли ринуться к оверсану от такого черного-пречерного пиара. В общем это все риторика, практика и опыт решают все, долгосрочное планирование не всегда приводит к ожидаемому результату и порой выгоднее действовать по мере наступления проблем, чем тратить деньги на предугадывание всего. Прошу прощения за оффтоп.

Да, товарищи - хотелось бы уже на предмет отсева ботов, использующих браузерные движки, услышать что-нибудь полезное.

Если доверитесь инструкциям Яндекса, Вы порежете часть его ботов. У него есть боты-имитаторы, которые не попадают под описание на help.yandex.ru, и в 2-х из 3-х случаев ходят не с Яндексовских IP.

Согласна с kxk, выкладывать в паблик инфу можно в ограниченном виде - атакующие быстро исправят свои ошибки.

Но и ограничивать в информации - неправильно, от большинства dDoS можно защититься самостоятельно с минимумом затрат.Тут есть тема, где народ приоткрывает завесу тайны, правда, по большей части при общении в ICQ и по телефону.

Имхо, защиту сайта надо начинать с DNS-сервера, защита веб-сервера - вторична.

Ladycharm, Спалю тему, есть такая пооолезная штука как DNS регистратора :) Незачем использовать свои днс :)