hosting_manager

hosting_manager
Рейтинг
307
Регистрация
26.03.2010
Должность
Hosting Manager
Trimix TDI Diver/ Cave Diver / Hosting Manager
lsw_fan:

В EvoSwitch (площадка AMS-01), так же как и в лизвебовских стойках в Schuberg Philis (AMS-11) полностью отсутствовала связь с Интернетом 15 марта 2017 года с 5:28 CET по 7:43 CET (2 часа 15 минут)
Вот одно из сообщений в их NOC по этому поводу:
http://leasewebnoc.com/en/networkstatus/nl-ams-01-connectivity-issues-in-part-of-our-network-4

Во время инцидента отсутствовала связь полностью как в "Premium network", так и в "Volume network" во всех сегментах дц Evoswitch. Полностью отсутствовала связь с Интернетом во всем датацентре.
Не работал ни leaseweb.com, ни личный кабинет, ни даже mirror.nl.leaseweb.net.

Инцидент произошел после апдейта ПО на одном из пограничных маршрутизаторов, из-за чего упал весь кластер пограничных маршрутизаторов. 2 часа сетевикам потребовалось на откат прошивки и восстановления связи внутри дата-центра.

LeaseWeb после этого инцидента присылал "конфиденциальный" RFO документ (вам наверняка тоже) , там все хорошо расписано и причины и развитие событий по минутам.

Поэтому ваше сообщение о незначительности аварии - "Менее 10 серверов оказалось в том сегменте у нас" - это вранье.
И делать маркетинг на проблемах от которых никто не застрахован крайне глупо.

Нет, наше сообщение не вранье, а врун lsw_fan Вы, пытающийся выдать желаемое за действительное. По Вашей же ссылке указано:

http://leasewebnoc.com/en/networkstatus/nl-ams-01-connectivity-issues-in-part-of-our-network-4

Connectivity issues in part of our network

Вы вообще понимаете разницу между "частью" сетей или сетями полностью?

"весь кластер пограничных маршрутизаторов" - входящих в состав ОДНОГО ядра, в ЦОДе 2 независимых ядра, которые одновременно упасть не могут.

Наши абоненты могут подтвердить, что проблем в этот день у них не было. Этому же могут быть и подтверждением отсуствие шторма вопросов у нас в теме. Если бы такое было в действительности, как Вы описываете и у нас упали тысячи клиентских серверов, наверное, в нашем топике была бы информация об этом. Также, как и отчёт о случившемся.

Видимо, мы размещаемся в сегменте с более надежной сетью. Ибо наши сервисы каких-либо значительных проблем не испытывали в этот день.

---------- Добавлено 10.11.2017 в 12:27 ----------

kxk:
lsw_fan, Тот крайне редкий случай когда я Вас полностью поддерживаю

Я не удивлюсь, если lsw_fan - засланное лицо из amhost, уж больно просматривается между их активностью связь :) Amhost тогда действительно лежал, не повезло им.

Но о том, что падал, к слову, premium-сегмент, я не могу найти упоминания, так как в случае выхода из строя только одного ядра - такое невозможно.

Бред lsw_fan в том, что он надеется увидеть поддержку неспециалистов. По его же ссылке видно, что проблема была вызвана обновлением ПО на корневом маршрутизаторе. Но как он сам прекрасно знает, трафик к премиум-сети маршрутизируется двумя независимыми маршрутизаторами. Потому, даже в случае падения одного из, проблем у таких серверов не будет.

Более того, некоторый трафик, маршрутизируется не только маршрутизаторами LeaseWeb, а EvoSwitch - это не только сеть LeaseWeb, а еще и point of presense точки обмена, где можно получить включение от магистрала напрямую и маршрутизироваться по своим правилам.

chaturanga:

Перевожу на русский язык "Зачем нам проблемные клиенты. Мы будем стричь бабло на лохах."

Стоит заметить, что LeaseWeb в силах отфильтровать сейчас атаку и во много миллионов пакетов, только это стоить будет дополнительных денег: https://kb.leaseweb.com/display/KB/DDoS+IP+protection

И такого клиента LeaseWeb ни за что не будет размещать в общих стойках, так как для фильтрации крупных атак они обеспечат специальную сетевую инфраструктуру. Которая невозможна в Вашем хвалёном OVH.

Ценник на защиту будет индивидуален.

Такие атаки OVH Ваш даже и близко не способен отражать.

---------- Добавлено 09.11.2017 в 20:53 ----------

team-voice:
вы не правы.

разрывно, есть крайние максимальные и минимальные границы PPC и BPS соотношения но эти границы крайне велики разница в PPC при одинаковых BPS может достигать В 46 раз.
Большинство операторского оборудования не способно обеспечить line rate speed интерфейса при экстремально низком размере пакета.

Спасибо за информацию, я знал, что есть разница, но не думал, что аж в 46 раз. Мне почему-то казалось, что атаки всегда идут с более-менее стандартным отношением количества пакетов к трафику и различие максимум раза в 3. Так как для того, чтоб атаковать с минимальным размером пакета - нужен огромный ботнет, как раз по той причине, что Вы указали.

Я помню, как убивались свитчи, атакой в 50 000 пакетов в древнее время :) Правда они были слабенькие и 100-мегабитные.

chaturanga:

Если человек мерят атаки в ГБитах, то пребыдущий вопрос снимаю.

По-моему гигабиты неразрывно связаны с количеством пакетов в секунду? :) Разве нет? :)

Да, я не спорю, что пакеты могут быть разных размеров, но, в целом, это значительно не меняет картину. Цифры в количестве пакетов не давал, так как банально не помню и не измерял этого значения, когда забился канал в 10 гигабит, я мог мерять атаки только в гигабитах :)

WapGraf:
hosting_manager, для вас это как урок, а кто-то другой может из копеек по доступности семью кормит…

В этом случае печально. Но ситуация может помочь человеку в будущем не потерять гораздо больше. Я видел проекты, которые полностью убрались, потому, как не было бэкапов. Вот это была трагедия. Потерять проект, приносящие стабильные несколько десятков тысяч долларов.... Когда ты им занимался много лет. Это настоящая трагедия. Также, как банкротство для крупного бизнеса. Люди после реально в депрессии, хотя, конечно, зависит от человека. Некоторым пофиг и они все делают заново. Главное жизнь и здоровье. Остальное малосущественно.

WapGraf:
hosting_manager, в свое время LeaseWeb также демпингом баловался. На чем они сэкономили тогда? Вы знаете? НЕТ, вот и не стоит хаять других и боготворить других. У вас нету информации, которая может говорить в пользу того или другого ДЦ, только вера и ваше личное мнение.

Лучше соболезнуйте пострадавшим, а маркетинг на сегодня прекратите!

Знаю не всё конечно, но что-то знаю. Демпинг когда был, то старые абоненты попали, так как имели долгосрочные контракты, в том числе и мы. Серверы стали стоить напрямую дешевле, чем с контрактом на 3 года. Да, была не совсем хорошая бизнес-модель там. Но эти действия их также можно понять и простить. Но этот демпинг никогда не отражался на качестве услуги. Дата-центр всегда предсотавлял услугу достойного качества.

Хотя, конечно, проблемы были и в работе тех. отдела, порой серьезные и многое другое.

Соболезновать пострадавшим не буду. Извините, но никто не пострадал. Это всего лишь серверы, которые временно оказались недоступны и тут повод просто еще раз вспомнить о том, что такое резервировние и когда оно нужно. Ничего страшного в этом нет. Наоборот полезный урок и опыт.

Прежде всего для пострадавших. Всегда нужно иметь аварийный план восстановления, и кто знает, может этот небольшой инцидент, убережет их от потери данных в будущем. Как это случилось, когда сгорел hosting.ua. Вот тогда людей было жаль, ибо некоторые потеряли проекты, средства заработка и т.п. (так как делали некоторые бэкапы в том же ДЦ и даже представить не могли, что резервные копии могут сгореть), также, как и после ситуации с крупным российским хостером в МСК, когда серверы просто перестали работать.

Те же, кто всё учли и получили недоступность - не нуждаются в соболезнованиях, так как для них это плановое неудобство, которое было ими учтено и они спокойно переключились на другой дата-центр на момент решения проблемы.

WapGraf:
hosting_manager, только в реалиях никто из здесь присутствующих, в том числе и вы, не знаете что и как проверяют в EvoSwitch (LeaseWeb). Так что это вопрос веры.


p.s. в OVH ранее также верили.

Тут вопрос эксперимента, когда было отключение электроенергии в Нидерландах, EvoSwitch устоял. При том, что у них вероятность отказа электропитания крайне низкая и они могли на это забить, как многие. Но они не сделали это, не забили. Для меня это громнейший показатель.

Наш другой партнёр в это время, с "крутейшей премиум сетью", остался без электричества. Потому, что в ЦОД забыли завезти дизель :)

Потому да, показатель EvoSwitch и LeaseWeb с опытом работы в строительстве сетей с 1998 года, мне внушает доверие. Мало кто знает, в никаких Википедиях это не описано, но капитал на дата-центр владельцы LeaseWeb собрали благодаря услуги предоставления Интернет и IP-транзиту трафика, в начальный период своей работы.

И эти ребята на строительстве магистралей и управление дата-центром действительно "не одну собаку съели". Потому да, им можно доверять. Хотя человеческий фактор случается и у них, но за счёт многократного резервирования этих всех косяков - подобного сегодняшнему инциденту быть просто не может.

Понятное дело, что человеческий фактор никто не отменяет. Когда проблема - вызвана чредой действительно сложных проссчётов, которые было сложно учесть, это - одно. Но когда проблема вызвано разгильдяйством и просто тотальной экономией - совсем другое.

kxk:
hosting_manager, В 2009 году после супер ддоса на супер дейтинг, мы кардинально закрыли этот вопрос и платили значительно меньше чем 500-1500 в час:)

Может Вы не тому платили или не туда:)

Я помню Ваш случай, то вообще было уникально. Но мы в Украине не имели тогда особых выходов, а клиента надо было спасать. Атаковал человек, который мог увеличить мощность до любого размера. Даже дорогая внешняя фильтрация не помогла.

Может быть тот же ботнет...

Причём требовал просто денег с владельца проекта, по наглому. В конце коноцов забили и решили переждать, все же атака для него также была риском. И через какое-то время он сдался.

Честно говоря Serverius никогда не вызывал большого доверия, особенно с их постсоветским менталитетом. То, что произошло там - такое же разгельдяйство, как и везде.

А дизель-генераторы нужно регулярно проверять и обслуживать, также, как и ИБП, которые нужны на время порядка 15 секунд до того, как запуститься дизель.

chaturanga:
Не смешно?
В 2007 мы фильтровали 2,8 mpps, для 95% сайтов бесплатно.
Вообще не стыдно агитировать за такое г,,,о?

Мы - это OVH? :)

Агитировать нужно за OVH, который вырубает полностью, включая оптоволокно, от того, что пропало питание? 😂

У нас всё стабильно годами, и даже когда не было бесплатной системы фильтрации, народ пользовался внешними системами фильтрации, которые более эффективны, чем системы фильтрации дата-центра. Поистине большие атаки можно фильтровать только при помощи распределенных систем внешней фильтрации. И да, цены в 2009 году доходили до 500 и 1000 долларов за час фильтрации таких атак.

И да, мы это делали для клиентов, которые нуждались в этом.

А на стороне дата-центра мы поняли, что нормальных фильтров быть не может, еще когда в 2010-м году в Укртелеком к нам пришла атака 10+ Гбит / с, что превысила возможности аппаратной железки, которая у нас была в распоряжении.

В LeaseWeb очень адекватная система была, если атака влияет на качество канала в шкафу, то такой ай пи адрес в нулл-роут. Зачем это фильтровать и ухудшать качество для других абонентов? % абонентов с атаками реально 0,0001% от всех клиентов, а может и меньше.

Всего: 2997