Дата-центр в Москве: размещение и аренда серверов, широкие каналы, защита от DDoS

Иван, если вы хотите рассказать про свою сеть и инфраструктуру в нашей теме, позвольте я вам помогу.

Вот ссылка на вашу качественную инфраструктуру, вижу что в ваш mx80 включен всего один порт 10Гбит. Хотя по тексту написано, что целый месяц уже прошел с момента запуска.

И еще прокомментирую, вы написали что 2Гбита на стойку мало, и включаете уже 10Гбит на стойку. Охотно верю, с учетом того что у вас в основной роутер включено всего 10Гбит, а на той же странице заявлена пропускная способность 34Гбит/сек.

Я тут немного порассуждаю? Можно?

У Вас под колокейшн тоже стойки наполовину пустые стоят?

Почему спрашиваю. Выше по теме, Вы писали, что берете оплату за колокейшн по мощности блока питания и делаете так, чтобы гарантировать наличие достаточного электричества в любое время. Тогда получается, что в 42 юниты, вы ставите только 14 машин по 350 Ватт или 7 машин с блоками по 700 Ватт? Т.е. Большая часть стойки у Вас стоит пустой? А смысл?

Или стойки под колокейшн, у Вас имеют больший запас электричества, чем те, которые Вы сдаете полностью?

Если вы ставили все стойки с одинаковыми параметрам по электричеству, то предполагаю, что расчет был на то, что большинство клиентов приносит однопроцовые серваки, которые кушают по 150 Ватт в пике, тогда в стойку можно поставить порядка 30 таких серваков. Если набивать по полной, то получается что выделяете по 119 Ватт на юнит.

Короче, если я припрусь к вам со своими двухпроцовыми супермикрами, которые кушают 200-250 Ватт, то смогу поставить их в одну стойку всего 20 штук, вместо, 40, как мы это делаем у себя. Как-то не очень удобно получается.

Да нет, не хочу, для этого есть моя ветка, каждый волен там задавать самые провокационные вопросы ;).

Но охотно поясню, раз уж Вы решили прокомментировать нашу новость в своей ветке.

Внешние линки, как и заявлено, 34 Гбита. Их основной смысл, выдерживать небольшие DDoS-ы, с которыми мы столкнулись в большом количестве в этом году. Основной удар на себя принимает железка, которая стоит на М9 и держит в себе, все внешние линки. Пока, основной линк от М9 до нас работает на 10G, для внешнего трафика, этого более чем достаточно. У нас, пока, нормальный трафик не превышает 1.5 Гбита. Если Вы заметили, то MX80 на борту имеет еще 3 XFP-разъема для 10G аплинков, по мере роста трафика, мы будем их задействовать. Смысл их включать сейчас, когда средний трафик 500 Мбит/с? Будет средняя нагрузка 2-3 Гбита, тогда задействуем второй.

Далее, 10G на стойку, нужно опять же, из-за DDoS-ов.

Если какой-то шальной DDoS-прорывается через первую линию обороны на М9, и достигает стойки, то в нашем случае, ляжет 1 сервак. В вашем случае - вся стойка. Поскольку, DDoS-ы менее 3 Гбит, к нам уже давно не прилетали. Сейчас, средний школоддос идет 4-5 Гбит.

А еще и бакапы надо сливать, по 1G сети, сколько я это буду делать с 40 машин? Но внешний канал, мне для этого не нужен.

Потом, мы говорили, про качественный интернет а не инфраструктуру. В своем, не вижу ничего не качественного. Мы здесь на серчах, да и не только здесь, уже год общаемся с людьми, и подключаем тех операторов, которые реально нужны. Пока, остановились, на том, что есть, поскольку наша связанность всех устраивает (кто нами пользуется), да и нас тоже устраивает. Будут еще запросы, подключим еще.

В общем, я считаю свою инфраструктуру оптимальной для того уровня развития, на котором мы находимся. Безусловно, есть куда расти и в планах развития еще много чего стоит. Но все постепенно, шаг за шагом, тогда, когда это нужно.

Если у Вас еще будут вопросы или комменты, пишите их сразу в моей ветке, не стесняйтесь ;). А тут, будем Ваш ЦОД обсуждать. Чтобы сумбура не было ).

Если я и провожу какие параллели, со своей инфраструктурой, не воспринимайте это как самопиар в вашей ветке. В нашем деле, некоторые вещи проще объяснить, сравнивая их с тем, что имеешь сам.

Прилетало 10гбит на сервер, соседний проблем не ощущал. Было 2 раза всего, за 4 года сотрудничества когда наш сервер был недоступен из-за ддос атаки на кого-то, но это было не более 3мин.

Ivan Lungov,

Можно считать меряя БП, можно просто по максимальной мощности, можно еще как-то. Но тарифы никто не будет снижать - просто все перейдут на другой метод подсчета КОЛО да и все. Можно, к примеру подсчитаывать по кол-ву процессоров внутри сервера и ядер в нем.

Кроме того, замер мощности это процесс не тривиальный/спорный и занимающий время - а время и инженерная служба самое дорогое что есть в телекоммуникациях.

Я не спорю, вполне вероятно, что для юнит в розницу, к стойке подводят 40G. Просто, ТС предложил мне 2 линка по 1G, считая, что это дофига. Хотя, вот сейчас, на нас, льется DDoS на 8 Гбит, нагнули только 1 сервер. Сейчас заблочили на М9 и норм.

---------- Добавлено 25.12.2014 в 20:45 ----------

firstman, Я не про способы подсчета говорил, а про то, что при 5 кВт на стойку я смогу использовать только 20 юнит из 42. И про то, что если ТС дает на стойки для колокейшна те же 5 кВт, то тут как ни считай, больше чем по 119 Ватт на юнит не получится.

Иван, у нас есть статистика. Сервер с двумя процессорами E5 (по 95Вт), 4 модуля памяти и пара дисков 3,5" потребляет около 70Вт в обычном режиме. В пиках доходит до 165Вт. Это данные из iLO реального HP сервера. Если взять 6000Вт и поделить на 165Вт, выходит 36 таких серверов. Но ни кто не заставляет собирать стойку с коло только из двухпроцессорных серверов. Их можно миксовать, это и приходится делать, не только из за питания, но из-за длинны серверов. Предположим у вас есть клиент с 3 серверами глубинной 80см, вы их поставили вместе, заняв 3 юнита. Затем клиент забрал средний сервер. А другой клиент принес на коло сервер глубиной 50см. Если вы попробуете разместить его между серверами глубиной 80см, это будет крайне затруднительно. Именно поэтому у нас есть стойки с глубокими серверами, с короткими, и так же по загрузке PDU можно судить, куда добавить сервер двух процессорный, а куда однопроцессорный. Проблем в этом нет, это обычная логистика дата-центра при услуге коло.

Если вы принесете сервера на коло по юнитам, то мы их разместим и проблемы не будет. Если даже они встанут так, что в стойке не влезут другие сервера, значит у вас реально большие блоки питания и вы будете платить за дополнительное питание. А если вы берете стойку, то нам в принципе все равно сколько вы включите в ней серверов. Мы даем вам два автомата по 16А, и два PDU по 16А, вы сами можете забить свою стойку серверами. Может часть из них будет выключена, или включаться они будут по очереди, чтобы избежать пиков. Могут быть настройки минимального энергопотребления, как вам угодно в пределах своей стойки.

С чего вы взяли, что у нас что-то ляжет? Если клиент взял 2Мбит, или 20Гбит, мы ему эту полосу гарантируем. И вот если клиенту из-за ддоса не хватит этой полосы то проблема будет только у этого клиента. У него забьется полоса и все. Других клиентов в той же стойке или в том же свитче это ни как не коснется. И как раз для таких случаев и существует наша защита от DDoS о чем и начиналась эта тема. В случае если у клиента (к примеру у вас со стойкой и каналом в 2Гб), включена защита, то мы флуд который идет (10-20-40Гбит) порежем еще на входе в нашу сеть. И если как вы пишите реального трафика у вас меньше 2Гб, то это идеальный вариант.

95+95+70=260 Вт, как это у Вас, простите, получилось 165Вт на двух процах?

95 w - это пиковое значение при загрузке всех ядер

http://ark.intel.com/ru/products/64594/Intel-Xeon-Processor-E5-2620-15M-Cache-2_00-GHz-7_20-GTs-Intel-QPI

95 Вт, потребление одного камня, когда в корпусе их 2 Как у Вас получилось 165 Вт?

Потом, Ваши слова:

Вы определитесь, Вы на основе среднего потребления считаете или на основе мощности блоков питания?

И как глубина сервера влияет на его энергопотребление? У меня есть серваки и 80 см и 50, жрут, примерно одинаково.

---------- Добавлено 26.12.2014 в 00:58 ----------

это очень мало на стойку, у нас стойки питаются от 6 автоматов по 16А. 5 на сервера и 1 на коммутатор. И у меня нет однопоцовых серваков, все двухпроцовые. И зачем, мне держать часть серваков выключенными? Выключенные должны на складе лежать, а не в стойке стоять за 100к в месяц, больно дорогой склад получается. Просто, пока, я вижу что реально, в одной стойке у меня заработает только 16 серверов. Поскольку у нас, сейчас, на 1 автомат на 16А держит 8 машин, которые суммарно потребляют 8 ампер, и для пиковых нагрузок есть запас в еще 8 ампер. Чтобы не было перегрузки случайно.

---------- Добавлено 26.12.2014 в 01:06 ----------

Не парьтесь по поводу этого, мы все равно не рассматриваем такой вариант, нас интересуют только лямбды или темное волокно. Я уже писал, что мы по другому просто не увяжем свою сеть через ваши каналы и бэкапы никто не отменял.

Ivan Lungov , полагаю, тут нет смысла спорить.

Каждый поставщик услуг, как я уже говорил выше, имеет полное право на самоопределение по составу услуг, их техническим характеристикам, и их ценам.

В данном случае Многобайт определил для себя определенную позицию:

1. Когда сами стравят на коло, то считают электричество по фактическому потреблению и максимально трамбуют стойки без задела на отказоустойчивость по линиям питания.

2. Когда калькулируют ценообразование для клиента, начинается разговор о цифрах на БП, не зря же производитель написал, и теориях максимального потребления...

Это данность. Задача клиента её понять и сделать собственные выводы.