Romka_Kharkov

Romka_Kharkov
Рейтинг
485
Регистрация
08.04.2009
Должность
Хостинг
Качественный хостинг
=MaximaN=:
yahoster, спасибо за быстрый ответ, но хотелось бы еще предложений увидеть, так сказать, для сравнения...

Можем разместить в Канаде, согласно 100р у месяц есть тарифы Light и Micro, посмотрите их составляющие, но вот нагрузка это нагрузка она никуда не денется скорее всего, если ваш движок грузит, то он у всех будет грузить... Тут разбираться надо что грузит и почему грузит, обычно 1000 клиентов это не много, но зависит опять же от движка. В любом случае готовы предоставить лояльные условия и тестовый период сроком 7 дней. Обращайтесь, обсудим!

А что это такое вообще "двух-факторная аутентификация"? :) Это типа кроме пароля еще что-то? Связка login+pass это тоже двух-факторная в таком случае?

alex545:

Вобще как-то странно, в первом сообщении вы утвержаете что на 1000 одноврвеменных скачиваний(хоть и по 50кбит/сек на каждую скачку) и 10 серверов не хватит, а тут уже лишь предполагаете что первой проблемой станет ошибка ввода/вывода..

Я говорил про скачку файлов 20 Mb - 2 GB..... А расчет скорости скачивания происходил из расчета 20 Mb файл.... Так что от 50kb/s вы далеко плясать будете...

alex545:

а на каком кол-ве качающих это предположительно случиться, на 100, на 200? (на обычных сата2 винтах). Исходя из этой информации я смогу выставить какие-то ограничения.. Я конечно же понимаю, что это и опытным путём всё проверить можно, но надеялся что кто-то и так сможет подсказать

Запустите - увидите. Видимо такие ответы в силе, предсказать будет сложно.... Интенсивность разная, количество запросов разное, считайте.....

pav.brn:
Сидит человек с вируснёй на нетбуке, подключен к инету через юсб-модем от сотового оператора, проверяет свою почту и, ничего не подозревая, посылает флуд на ваш сервер.
Вы предлагаете скопом забанить адреса билайна, мегафона, мтс, етк и т.д.?

pav.brn добавил 07.07.2011 в 18:21

У меня создается впечатление что вырывать слова из фраз это нормально, смотрите еще раз, есть распределенная атака из 2000 серверов (часть из которых как вы выразились похаканные динамические домовладельцы, часть из них это сервера, часть из них шелы поломанные, и прочее), так вот приводя свой пример, я говорил о том, что на ДНС серверах своих можно просто запретить отдачу зоны конкретным сетям, так же я писал что это не панацея! , а еще я писал, что это отрежет часть трафика. Я например четко уверен что китайские посетители мне на сайт не нужны, зачем мне вообще использовать ресурсы ДНС сервера даже для 1го запроса из китая? А в случае если на вас валит атака описанная выше и там 50 % - китай, то уже .... пусть 10% из этих 50ти..... не получат резольва от вас....


Они же ресолвят через DNS своего провайдера.

Простите, но или я вас не понял или вы не понимаете как работает ДНС, да резолвим мы все через своих провайдеров (ну.... могут быть исключения :D), но причем тут это, мой провайдер что содержит у себя мою ЗОНУ??? нет конечно, он может быть содержит кеш этой зоны..... какое-то время.... но никак не мою зону, по этому если я сейчас у себя на ДНС серверах заблокирую подсеть вашего провайдера то по истечению настроенного времени кеш у вашего провайдера очистится и ваш ПК больше не будет знать какой ИП у моего сайта.....

(Конечно же, в случае если при атаке не указан целевой IP)

По сути все пытаются сделать тоже самое только путем файрволов или реврайтов, в общем не важно, путем процессора ..... а можно на ранней стадии часть трафика потерять фактически оттуда же.

Romka_Kharkov добавил 07.07.2011 в 20:20

pav.brn:

Если есть положительный опыт - отпишитесь, будет интересно всем.

Описанный выше пример, используется:


# ipfw show | grep -i "dst-port 53" |wc -l
108
#

Hint: Рули которые имеют 0 bytes > $time могут удаляться.

alex545:

вот вы написали "Блин вы опять о вечном" - на мой взгляд, всё таки это вы о вечном в данном сообщении )

Просто поймите. хочется же ответить вам грамотно на ваш вопрос, подсказать, порекомендовать, а без знания ваших запросов ..... разговор ни о чем, число рассуждения, может так ... а может так...

alex545:

вот очень хорошее замечание. проясните, пожалуйста, в чём проблема тысяч одновременных скачиваний? то есть это процессор/файловая система среднего сервера не выдержит или те же апач/nginx? (вопрос скорости опустим, пусть она будет хоть 50кбит/сек на одну скачку)

Я думаю что первым на очереди будет I/O к винту, как я уже писал выше, а чуть ниже Андрейка докинул еще пару приятных терминов :D

pav.brn:
Вы хотите сказать, что зафлудят DNS-сервера крупных контор, например, регтайма или буржуйского го-дадди? Чутьё подсказывает, что за ними круглосуточно следят, так как счёт клиентов на миллионы и затраты на анти-ддос себя оправдывают.

Нет, я хотел сказать ,что у себя на ДНС серверах можно запретить доступ разного рода сетям и у них не будет возможности резолвить через ваши ДНС ваши домены...

pav.brn:
Извините, но Вы пишите глупость. Атакуют (проплачивают) список доменов, а не список IP.

Это касалось тех атак которые нацелены на IP или я что-то глобально не понимаю? атак на IP не существует?, не связно с текстом получилось.... мыслей много.

План Б (тоже не панацея :D :D :D):

Что мешает пополнять список IP адресов на ДНС серверах теми сетями которым вообще не стоит отвечать... ? ;) Так они и про домены ваши вообще могут ничего не узнать :D А при атаках половина машин выпадет в силу отсутствия резолва.... это конечно можно обойти путем локального резолва, но всегда ли с атакуемой машиной такой контакт, что резолвом управлять можно... Часть трафика снимет, уверяю.

Защита от атаки, это контр нападение, надо действовать стратегически (разными методами как минимум), а мне кажется что вы видите это в виде рубильника типа "DDOS ON/OFF". Заранее извинюсь за сказанное, ничего личного не имею, я тоже "в познаниях" могу где-то и ошибаться :D По этому приветствуется здравая критика и прочее, если со ссылками на документации так вообще шикарно.

С Уважением,

Romka_Kharkov добавил 06.07.2011 в 22:52

IT-Host:
Не специалист, но из Ваших выражений могу сделать такой же вывод.
http://datasfera.com/special/firewall/

(Картинко)

http://www.juniper.net/us/en/products-services/security/netscreen/ns5400/

На сколько я понимаю стоит до 10k$. Но надо же понимать, что ставить его на участке где 10 GB/s наверное смысла нет, хотя я честно говоря не знаю какие сейчас мощные атаки гуляют? Ну всмысле в среднем досы какие по мощности? реально ли 30 GB отловить?

Romka_Kharkov добавил 06.07.2011 в 22:54

SFVeles:
Это Вы как хостер говорите, которому глубоко наплевать на работоспособность клиентского сайта или сервера, который под атакой.

Давайте немного расставим точки, я говорю это как хостер который терпит убыток в 100$ от клиента который платит 1$.. Ну давайте будем включать защиту на основе Juniper в хостинг, завтра ко всем своим тарифам 450$ докину ну так и быть железку куплю :D Будете клиентом хостинга который сегодня стоит 1$ а завтра 451$ + анти ддос? Вы поймите, тут ШАРЫ нет ;) потому что есть трафик и кто-то в него попадает, клиент своими "взносами" не покрывает эти расходы?! какие вы видите варианты решения? Другое дело если провайдер взял и заблекхолил ИП адрес, в данном случае трафик пропал вовсе, так как за пару секунд перестроилось BGP и все, во всех атакующих точках больше не известен маршрут к этому адресу... да у клиента перестал работать сайт.... стоимость размещения которого он оценил в 1$ (а не в 451$), но при этом я не попадаю как хостер в 100$ .... Так вот скажите мне как урегулировать такой резонанс, если вы найдете закономерный, обоюдовыгодный и минимально затратный вариант при такой ситуации (фактически расскажете где мне взять недостающие 99$) я обещаю вам, что публично применю его в нашем проекте :D

alex545:
zexis, iHead - благодарю за ответы, уже смотрю

Romka_Kharkov,
>так как будет юзаться тот же апач
там ещё дописано "(если использовать php)"
В этом выражении я подразумевал то, что по моему мнению использовать скриптовый язык для таких целей слишком ресурсоёмко..

> А еще интересует ряд сетевых параметров, какой объем отдается например в сутки?
ну мне желательно бы максимально возможный (то есть до 100 мбит/с в моём случае). что касается параллельных скачиваний, то я думаю что несколько тысяч вполне могут быть

Блин вы опять о вечном :)

"для таких целей слишком ресурсоёмко" - Для каких целей? Просто отдавать файл?

"ну мне желательно бы максимально возможный" - Вы как вообще стоите подход то свой? У вас есть ресурс и вы не знаете посещаемости? или вы планируете завести ресурс и не знаете посещаемости? Во втором случае нужна приблизительная посещаемость..... паралельно несколько тысяч... вы смеетесь? по 20MB-XGB каждый ??? 20GB одновременно ? Для такого объема отдачи может и 10 серверов не хватить.

Я понял, пояснить будет весьма сложно (простите), формула выглядит где-то так, берем "планируемое количество скачиваний" в сутки умножаем на среднюю величину файла, получаем среднее количество скачанного за сутки, потом высчитываем скорость которая нам потребуется для скачивания этого объема за 24 часа..... И получаем нагрузку на канал с точки зрения трафика.... Для вас проведу примерный расчет по вашим данным: ~20 MB файл (но так как вы сказали от 1го МБ до нескольких ГБ то я уже сомневаюсь что там среднее 20MB но все же), допустим , если у вас за сутки будет 1000 скачиваний, вы отдадите ~20 GB за сутки. Получаем 20Gb / 24 / 60 / 60 = 231 килобайта в секунду, это приблизительно равно скорости 1.8 Мегабита в секунду (Mb/s).

Т.е если у вас 10k скачиваний это 18 Mb/s , а если 100k то это 180 Mb/s.

Ну начну с того, что по разговорам форумщиков-админов, если вы отдаете голую статику, стоит вовсе забыть про апач.... лучше использовать nginx (но я лично эту теорию пока не проверил, по этому ссылаюсь на других авторов которые наверняка подтвердят эти слова своими постами если почитают). Если у вас большая интенсивность, то для мелких файлов будет закономерно использовать прозрачное кеширование, что бы массу 20 метровых файлов отдавать не с винта, а с памяти. Механизм выдачи клиенту ссылок сам по себе не ресурсоемкий? что тут сложного запросили какой-то файлик, механизм глянул в базу где он там лежит и начал отдавать..... я не думаю что такие запросы родят какие-то нагрузки, в вашем случае основная нагрузка придется на I/O (ввод\вывод) с винтом. Памяти и проца при такой работе использоваться будет не много. В случае именно голой отдачи статики я бы вообще рекомендовал обойтись без веб сервера, напишите апликуху которая на 80м пору будет выстреливать нужные заголовки и тулить клиенту файл, с точки зрения ПО будет оптимальный вариант нежели преславутый nginx и apache .... Но это совсем хороший подход, потому что для голой отдачи вам 99% функций nginx тоже не понадобятся :)

Вообще если отдача серьезная , и вы развиваетесь, то 1 сервер это уже не решение если у вас регулярно идет даунлоад, мы например используем фермы в которых до 5 серверов одинаковых , раздают один и тот же контент , т.е балансируют между собой нагрузку.... С одного сервера суммарный объем такой отдать нет физической возможности.

ТС,

А что значит "лучше организовать"? Простите лучше чем что? И для каких целей ?

С удовольствием подумал бы на вашу тему и дал рекомендацию но сильно мало вводных. Кроме трех описанных методов которые сами по себе вызывают подозрение я вижу массу других, почему странных? цитирую из пункта 2 "так как будет юзаться тот же апач", а в случае 1 и 3 что будет юзаться? Ну это так .. .мелочи :)) А еще интересует ряд сетевых параметров, какой объем отдается например в сутки?

Вы видите сколько Иксов в вашем вопросе? :D Мега сложная формула для расчета ответа получается :) А все кто будут отвечать на этот вопрос читая его как есть - заведомо вруны :P (т.е Вы никогда не добьетесь >правильного< ответа, так как разные типы раздач будут полезны при разных запросах..

greenlen:
С этим согласна! Обросли жирком, разленились, вот и позволяют себе отфутболивать клиентов. Я думаю это не правильная политика компании.

Вы просто не умеете готовить :D Представьте себе что есть клиент который приносит 5$ прибыли ,и есть убыток от этого клиента в 1.000$ , правильная политика компании будет содержать этого клиента "до последних сил", директор будет недоедать и ездить на тролейбусах, только ради того что бы ваш сайт с "письками" крутился в интернете и его досили недовольные китайцы? Вернитесь на землю :)

Romka_Kharkov добавил 06.07.2011 в 17:12

greenlen:
Я за то, что бы всем было удобно работать.

А мне бы мира во всем мире :D

greenlen:

Так это сразу надо было предложить клиенту. (либо так, либо никак):)

А вот тут то и кроется вся сладость проблемы, далеко не каждый "хостер" может позволить себе оборудование которое грамотно будет отбивать ддосы... Да и не всегда в оборудовании есть смысл... Если это "хостер" который где-то арендовал 5 серверов и хочет подзаработать то там и не пахнет анти ддосом.... если же это более крупная компания то они конечно могут себе это позволить, но как писалось уже выше - это стоит денег , и эти деньги это не 5$ которые платит клиент.

Romka_Kharkov добавил 06.07.2011 в 17:14

IT-Host:

Аппаратной защитой на уровне juniper / cisco

+100500

// 10 букавок

Romka_Kharkov добавил 06.07.2011 в 17:16

SFVeles:
Спрошу для интереса, это всего или одновременно онлайн?
Если одновременно, то не верю, что Вы его отбили. Если ещё ботнет какой злой, то вобще без вариантов.

Та ну прямо таки без вариантов, а blackhole зачем, как рукой всех снимет :)

+ есть еще интересные методики , если атакуют URL а не ИП, можно DNS в 127.0.0.1 менять временно :) Либо подарить атаку конкурентам пока что :D )

+ есть еще интересная методика, берем кучу записей A с кучей адресов и крутим к одному домену, как правило атакуют один из ИП, его отключаем (блекхолим) убираем из ДНС... Атака на конкретный ИП уже "оплачена", по этому дальнейшая атака на следующий ИП уже для конкурентов стоит доп. денег :D Мелочь а приятно :))))

Это тоже не панацея , но на какое-то время решает ситуацию. ;)

Всего: 6838