zexis: Да, теоретически боты могут быть умными. Но на моей практике. 70% атак долбят лишь стартовую страницу. 20% долбят не более 10 разных страниц. В 90% случаев боты использует не более 15 уникальных узерагентов или реферреров. Запросы к статике делают не более 5% ботнетов. Так что на сегодняшний день проблем с обнаружением ботов нет, при наличии нужных алгоритмов.
С новым ддосом имею дело 1-2 раза в неделю, так что статистика накопилась довольно большая.
Встречал хитрых ботов, которые ходят по сайту случайным образом (это были не поисковики, возможно кто то своих ботов тестирует). Но всегда в таких умных ботнетах количество IP было не более 10-20, и они легко обнаруживались на превышение количества кликов за период времени.
1. Согласен по поводу стартовой страницы. Обычно вообще боты долбят одну и туже страницу. (часть их может долбить главную, часть внутреннюю и т.п. При этом редко, чтобы один бот (один ip-адрес) долбил более 1-й страницы.)
2. Атакуемую страницу можно сделать и "статикой" для ботов. =) Если стоит nginx, то малоэффективно будет её долбить.
3. Автоматическое обнаружение усложнится, если ботов будет много тысяч и каждый ip будет менять referer (или различные у многих ботов) и выдерживать паузу между запросами. (лучше рандомную). А если ещё и перебирать страницы =) (но это уже действительно пока редкость)
4. Вы говорите про превышение кликов за период времени. А если бот полезный? (какой-либо биржи проверки ссылок там и т.п.)
conturov.net: Ставьте NS регистратора, а при проблемах менять для записи A IP другого хостинга. Простой должен быть минимальный. Новые посетители пойдут на новый хостинг, а те кто уже посетил сайт до падения попадет на новый через пару часов.
Этот простой до 24-х часов может быть, начиная с того, что A запись там не моментально меняется после нажатия кнопки. Бывает, что и через сутки часть посетителей идёт на старый ip.
Mr.Justice: Говорю то что видел собственными глазами. Не более
Что вы видели?
При http-флуде 80к ботов спокойно заносится в фаервол и атака кончается. Чем по-вашему 60к отличается от 80к ? Лишними 20к записями фаервола?
Тут скорее сила атаки измеряется в количестве запросов в секунду (сколько их положит сервер), а сложность её блокировки уже в количестве атакующих ip. Боты бывают разные и отловить некоторых (которых очень сложно отличить от обычных посетителей) сложно.
Я полагаю, что вы просто немного не верно атаки разделяете. Если атаковать непопулярную страницу малопосещаемого сайта, то легко отфильтруется и большое количество. (просто переводим страницу в статику, отдаём nginx'ом (чтобы нагрузка была минимаьной) и всех в фаервол (можно по количеству обращений к странице))
Было, что и 50-60к подсетей(!) приходилось загонять в ipset, т.к. каждый ip блокировать было затруднительно от их дикого количества. (сколько было реально ip я даже не знаю, т.к. после того, как 65к влетело в ipset и сила атаки не уменьшилась, решили блокировать подсетями)
Himiko добавил 29.04.2011 в 05:52
Mr.Justice: Давайте создадим тему и поспорим при-людно на 500 USD, если ucoz упадет в течении 1-5 минут (В оговоренный срок) - Вы платите. Средства отдаем гаранту.
Юкоз может и лечь, если количество запросов в секунду будет огромным. Но это не означает, что атака им не под силу и что дело только в количестве атакующих ip.
P.S.: Вы спрашивали про нас. Да и мы на 99% сразу ляжем при атаке даже в 10к-30к хостов. Но это не говорит о том, что атаку не удастся отразить в ближайшие 10-40 минут.
anpekonsk: А по мне так тема ушла за пределы топика...
Да, прошу прощения за флуд в вашей теме.
Вы бы с несколькими хостерами, которые предоставляют защиту, всё обсудили.
Как я вам и говорил - сразу платить за возможную атаку вам смысла мало. Там цифры могут быть не малыми за подключение к аппаратным средствам защиты. Да и не факт, что на вас когда-либо пойдёт большая атака.
Himiko добавил 28.04.2011 в 18:07
rean1m5: все ясно. удачи школьничек, сначала кинете слово - потом сразу агритесь - о"й, ой а вы на меня бочку катите, ПАЧИМУ? я буду плакать и жаловаться, я же вам ничего не говорил":D ага щаз
Мне вас жаль... Вы действительно не понимаете, что подобными постами себя только опускаете? Хм... тяжёло всё.
Я не буду опускаться до вашего уровня и отвечать в таком же духе. Я вам всё уже сказал, вы (судя по последним постам) - тоже высказались и уже отошли от темы обсуждения. Сейчас осталось только перейти на личности начать друг друга оскорблять, а это не в моём духе.
rean1m5: вы начали мбиты переводить в ботов, придираться к словам, потом говорить что вы специалист лучше которого нет- проверили, упало - вывод?! -слова ваши лишь blah-blah-blah которые сотрясают воздух.
Тут наоборот. Речь шла про http-флуд и вы стали обсуждать мегабиты.
Про "специалист, лучше которого нет" - это лично ваши домыслы. Я вам объяснял многим понятные вещи. Да и я сейчас не тех. специалист, у меня другие задачи.
Что вы там проверили? =) Какое отношение наш сайт на VPSке имеет к работе клиентских серверов и сайтов?
Вывод тут один - вы ведёте себя просто как ребёнок, который не может адекватно воспринимать критику и пытается хоть как-то "нагадить". Вторая ваша глупая попытка не удалась. (я чисто ради интереса поправил настройки, хотя (как я и говорил) там защита особо и не требуется, да и серьёзную атаку VPS просто по ресурсам не вывезет).
Himiko добавил 28.04.2011 в 17:54
rean1m5: слово "имбицил" вам помочь найти в словаре?
Я не понял смысла вашего поста. Или это переход на личности и грубость, как очередной способ самоутверждения?
Если вы ведёте себя как "школота", то причём тут я? Вам указали на ошибки вашего скрипта, вы съехали с темы и с какой-то глупой целью стали ДДОСить нашу VPSку =)
Сегодня что-то на 138 ip-адресах ваша атака сдулась. (смотрю ping-admin'ом судя по логу проверяли доступность).
Разве это не школьничество? Это в духе "помериться п****". Так делаю тогда, когда больше мериться нечем.
Да, теоретически боты могут быть умными.
Но на моей практике.
70% атак долбят лишь стартовую страницу.
20% долбят не более 10 разных страниц.
В 90% случаев боты использует не более 15 уникальных узерагентов или реферреров.
Запросы к статике делают не более 5% ботнетов.
Так что на сегодняшний день проблем с обнаружением ботов нет, при наличии нужных алгоритмов.
С новым ддосом имею дело 1-2 раза в неделю, так что статистика накопилась довольно большая.
Встречал хитрых ботов, которые ходят по сайту случайным образом (это были не поисковики, возможно кто то своих ботов тестирует). Но всегда в таких умных ботнетах количество IP было не более 10-20, и они легко обнаруживались на превышение количества кликов за период времени.
1. Согласен по поводу стартовой страницы. Обычно вообще боты долбят одну и туже страницу. (часть их может долбить главную, часть внутреннюю и т.п. При этом редко, чтобы один бот (один ip-адрес) долбил более 1-й страницы.)
2. Атакуемую страницу можно сделать и "статикой" для ботов. =) Если стоит nginx, то малоэффективно будет её долбить.
3. Автоматическое обнаружение усложнится, если ботов будет много тысяч и каждый ip будет менять referer (или различные у многих ботов) и выдерживать паузу между запросами. (лучше рандомную). А если ещё и перебирать страницы =) (но это уже действительно пока редкость)
4. Вы говорите про превышение кликов за период времени. А если бот полезный? (какой-либо биржи проверки ссылок там и т.п.)
В наунете быстро меняется
Только вот интернет провайдеры свои кэши обновляют по-разному... некоторые вообще игнорируют TTL и т.п.
Ставьте NS регистратора, а при проблемах менять для записи A IP другого хостинга. Простой должен быть минимальный. Новые посетители пойдут на новый хостинг, а те кто уже посетил сайт до падения попадет на новый через пару часов.
Этот простой до 24-х часов может быть, начиная с того, что A запись там не моментально меняется после нажатия кнопки. Бывает, что и через сутки часть посетителей идёт на старый ip.
какое вам дело до моего адреса, почтового индекса, телефона и прочей информации?
Указывают "левую" информацию обычно те люди, которые собираются заниматься чем-то противозаконным. А такие клиенты мало кому нужны.
Говорю то что видел собственными глазами. Не более
Что вы видели?
При http-флуде 80к ботов спокойно заносится в фаервол и атака кончается. Чем по-вашему 60к отличается от 80к ? Лишними 20к записями фаервола?
Тут скорее сила атаки измеряется в количестве запросов в секунду (сколько их положит сервер), а сложность её блокировки уже в количестве атакующих ip. Боты бывают разные и отловить некоторых (которых очень сложно отличить от обычных посетителей) сложно.
Я полагаю, что вы просто немного не верно атаки разделяете. Если атаковать непопулярную страницу малопосещаемого сайта, то легко отфильтруется и большое количество. (просто переводим страницу в статику, отдаём nginx'ом (чтобы нагрузка была минимаьной) и всех в фаервол (можно по количеству обращений к странице))
Было, что и 50-60к подсетей(!) приходилось загонять в ipset, т.к. каждый ip блокировать было затруднительно от их дикого количества. (сколько было реально ip я даже не знаю, т.к. после того, как 65к влетело в ipset и сила атаки не уменьшилась, решили блокировать подсетями)
Himiko добавил 29.04.2011 в 05:52
Давайте создадим тему и поспорим при-людно на 500 USD, если ucoz упадет в течении 1-5 минут (В оговоренный срок) - Вы платите. Средства отдаем гаранту.
Юкоз может и лечь, если количество запросов в секунду будет огромным. Но это не означает, что атака им не под силу и что дело только в количестве атакующих ip.
P.S.: Вы спрашивали про нас. Да и мы на 99% сразу ляжем при атаке даже в 10к-30к хостов. Но это не говорит о том, что атаку не удастся отразить в ближайшие 10-40 минут.
А по мне так тема ушла за пределы топика...
Да, прошу прощения за флуд в вашей теме.
Вы бы с несколькими хостерами, которые предоставляют защиту, всё обсудили.
Как я вам и говорил - сразу платить за возможную атаку вам смысла мало. Там цифры могут быть не малыми за подключение к аппаратным средствам защиты. Да и не факт, что на вас когда-либо пойдёт большая атака.
Himiko добавил 28.04.2011 в 18:07
все ясно. удачи школьничек, сначала кинете слово - потом сразу агритесь - о"й, ой а вы на меня бочку катите, ПАЧИМУ? я буду плакать и жаловаться, я же вам ничего не говорил":D ага щаз
Мне вас жаль... Вы действительно не понимаете, что подобными постами себя только опускаете? Хм... тяжёло всё.
Я не буду опускаться до вашего уровня и отвечать в таком же духе. Я вам всё уже сказал, вы (судя по последним постам) - тоже высказались и уже отошли от темы обсуждения. Сейчас осталось только перейти на личности начать друг друга оскорблять, а это не в моём духе.
Ещё раз говорю - всего доброго.
Ладно, мне с вами уже что-то обсуждать больше не хочется.
Мне интересно дискуссировать с людьми, которые могут отстоять свою точку зрения и адекватно воспринимают критику.
А смотреть, какой вы ещё вдруг "финт" выкинете мне не интересно.
Всего наилучшего.
вы начали мбиты переводить в ботов, придираться к словам, потом говорить что вы специалист лучше которого нет- проверили, упало - вывод?! -слова ваши лишь blah-blah-blah которые сотрясают воздух.
Тут наоборот. Речь шла про http-флуд и вы стали обсуждать мегабиты.
Про "специалист, лучше которого нет" - это лично ваши домыслы. Я вам объяснял многим понятные вещи. Да и я сейчас не тех. специалист, у меня другие задачи.
Что вы там проверили? =) Какое отношение наш сайт на VPSке имеет к работе клиентских серверов и сайтов?
Вывод тут один - вы ведёте себя просто как ребёнок, который не может адекватно воспринимать критику и пытается хоть как-то "нагадить". Вторая ваша глупая попытка не удалась. (я чисто ради интереса поправил настройки, хотя (как я и говорил) там защита особо и не требуется, да и серьёзную атаку VPS просто по ресурсам не вывезет).
Himiko добавил 28.04.2011 в 17:54
слово "имбицил" вам помочь найти в словаре?
Я не понял смысла вашего поста. Или это переход на личности и грубость, как очередной способ самоутверждения?
Не ровняйте всех по себе, я за свое время обитания в интернете встречал школьников которые дадут фору любому "взрослому" профессионалу..
Слово "школота" не означает однозначно, что человек в школе учится. Это образ человека любого возраста.
До какого дела? =)
Если вы ведёте себя как "школота", то причём тут я? Вам указали на ошибки вашего скрипта, вы съехали с темы и с какой-то глупой целью стали ДДОСить нашу VPSку =)
Сегодня что-то на 138 ip-адресах ваша атака сдулась. (смотрю ping-admin'ом судя по логу проверяли доступность).
Разве это не школьничество? Это в духе "помериться п****". Так делаю тогда, когда больше мериться нечем.