Pavel.Odintsov: Проблема не столько в кэше самих дисков, его можно отключить при желании, а в поведении страничного кэша почти любой современной ОС, когда данные пушатся блоками (когда наберется 10-20-50 записей или пройдет какое-то время), а не по мере реальной записи.
То есть, пишет тут MySQL что-то на диск раз запсисал - данные еще в памяти, два записал - снова в памяти, три записал - пошел пуш на диск. И ели до реального пуша данных еще не дошло и кончилось электричество - с данными можно прощаться. Ну и файловая система может разлететься, журнал ФС пишется зачастую даже чаще чем реальные данные.
Потому надо юзать хорошие фс (с).
ZFS с copy on write. Включать у MySQL O_DIRECT и бекапиться (благо с zfs это вопрос скорости канала да и только).
Аппаратный контроллер от этого кстати не защищает. Более того, у контроллера может быть глюк (было у нас пару раз с адаптеками) и этот глюк лечится только прошивкой новой фирмвари, которую прошивать на свой страх и риск, ибо гарантия снимается (собственно как и с ссд, но если ссд дешевые есть, контроллеры приличные все еще в 500 евро гуляют). Баттарейка может выйти из строя и если не настроена оповещалка - будет неприятный сюрприз. Даже сами производители пишут "бекап обязателен".
Плюс зачем дополнительная точка отказа в системе, которую дорого заменить? А вдруг слетел контроллер к чертям собачьим, а новый такой уже не купить, а у Вашего была проприетарная милая такая разметочка страпов?
Имхо намного логичней попросить 2 луча и в стойке и поставить сервер с 2мя БП - это как раз убирает еще одну единую точку отказа и позволяет сэкономить в будущем. Райд для ССД не нужен.
Оттюненный софтовый райд (да, его надо тюнить и правильно размечать, чтобы он православно лег на диск и на него можно было также правильно положить LVM в те самые 4к) будет перформить довольно близко к хардварным райдам, но вот геморроя с ним будет намного меньше, стоимость дико дешевле а возможностей поболее. И уж тем более, если это ZFS, будет намного проще управляться raw дисками.
Хард райд перформит быстрее в случае старых фс (типа ext2/3/4 или ufs), которые меньше опираются на память (кэширование делает ось). Для ZFS разницы не будет или же наоборот будут проблемы (в ZFS так и указано, что лучше не класть поверх хардвейр райда, т.к. это единая точка отказа ЗА пределами компетенции ZFS). Хотя мы например используем два raid0 и в zmirror, очень шустро работают).
P.S.: dd тестировщикам по ушам бы надавал, юзайте fio. Хотите увидеть красивый хард райд (если только у него нет кеша SSD) фейл? Запустите dd с fdatasync и bs=4G, чудо в Кэш не поместится и будут работать сами диски.
nashhost: Честно говоря, меня коробит эта фраза от коллег-хостеров.
Какой форс мажор? Что вы родились в стране, где где форс мажор каждые 10 лет?
Что вы начали бизнес, и не хотели учитывать риски? Что мешало, кроме жадности, открыться в нормальном ДЦ и стране, где все намного спокойней? (к рашке это тоже относится, кстати).
Если вы начали бизнес - предоставление услуг, так предоставляйте их. И хватит валить все на форс-мажор. Молча компенсируйте и разгребайте трабблы.
Сколько раз сталкивался с украинскими коллегами, всегда наблюдаю ооочень странную позицию в их отношении к оказываемым ими услугам.
На самом деле форс-мажор в цивилизованных странах только в случае уведомления одной из сторон в течение определенного законом или договором срока. Так форс-мажор не учитывается и работа продолжается. Так что в этой ситуации, когда деньги взяли и форс-мажором это не объявляли официально, договор все еще имеет силу.
Andron_buton: У меня тоже можно за 2000 € взять конфиг с ссд и 10Г каналом, который гарантировано утилизирует 10Г, но за 600 евро с дуал кором это просто не реально.
Можно и атомом 10 гбит нагрузить, гуглите netmap. Был план антиддос построить на атомах во Франции, они их там за копейки продавали с 10гбит каналом. Правда как только netmap с ipfw in userland популярным стал, сразу прикрыли лавочку и цены за траффик выросли.
Я думаю просто надо жалобы отправлять тем кто пострадали. И не через форум, а сразу через местного юриста вот сюда abuse-mailbox: abuse@cloudflare.com по поводу клеветы на домене searchengines.guru.
Раз модераторы ничего не хотят делать, надо действовать административными методами имхо.
ZFS уже допилили и она стала панацеей?
Где то я это слышал лет пять назад, уже стало намного лучше?
А что там пилить? У нас в продакшне с 8ки стоит (15 версия пула и 4 версия зфс) до 10.
Пилят другие, кому надо реализовать то, что в ZFS уже реализовано и работает :).
Проблема не столько в кэше самих дисков, его можно отключить при желании, а в поведении страничного кэша почти любой современной ОС, когда данные пушатся блоками (когда наберется 10-20-50 записей или пройдет какое-то время), а не по мере реальной записи.
То есть, пишет тут MySQL что-то на диск раз запсисал - данные еще в памяти, два записал - снова в памяти, три записал - пошел пуш на диск. И ели до реального пуша данных еще не дошло и кончилось электричество - с данными можно прощаться. Ну и файловая система может разлететься, журнал ФС пишется зачастую даже чаще чем реальные данные.
Потому надо юзать хорошие фс (с).
ZFS с copy on write. Включать у MySQL O_DIRECT и бекапиться (благо с zfs это вопрос скорости канала да и только).
Аппаратный контроллер от этого кстати не защищает. Более того, у контроллера может быть глюк (было у нас пару раз с адаптеками) и этот глюк лечится только прошивкой новой фирмвари, которую прошивать на свой страх и риск, ибо гарантия снимается (собственно как и с ссд, но если ссд дешевые есть, контроллеры приличные все еще в 500 евро гуляют). Баттарейка может выйти из строя и если не настроена оповещалка - будет неприятный сюрприз. Даже сами производители пишут "бекап обязателен".
Плюс зачем дополнительная точка отказа в системе, которую дорого заменить? А вдруг слетел контроллер к чертям собачьим, а новый такой уже не купить, а у Вашего была проприетарная милая такая разметочка страпов?
Имхо намного логичней попросить 2 луча и в стойке и поставить сервер с 2мя БП - это как раз убирает еще одну единую точку отказа и позволяет сэкономить в будущем. Райд для ССД не нужен.
Оттюненный софтовый райд (да, его надо тюнить и правильно размечать, чтобы он православно лег на диск и на него можно было также правильно положить LVM в те самые 4к) будет перформить довольно близко к хардварным райдам, но вот геморроя с ним будет намного меньше, стоимость дико дешевле а возможностей поболее. И уж тем более, если это ZFS, будет намного проще управляться raw дисками.
Хард райд перформит быстрее в случае старых фс (типа ext2/3/4 или ufs), которые меньше опираются на память (кэширование делает ось). Для ZFS разницы не будет или же наоборот будут проблемы (в ZFS так и указано, что лучше не класть поверх хардвейр райда, т.к. это единая точка отказа ЗА пределами компетенции ZFS). Хотя мы например используем два raid0 и в zmirror, очень шустро работают).
P.S.: dd тестировщикам по ушам бы надавал, юзайте fio. Хотите увидеть красивый хард райд (если только у него нет кеша SSD) фейл? Запустите dd с fdatasync и bs=4G, чудо в Кэш не поместится и будут работать сами диски.
Andron_buton, всегда хотел спросить, зачем Вы постите графики? Их можно нарисовать без проблем либо фотошопом, либо технически.
Честно говоря, меня коробит эта фраза от коллег-хостеров.
Какой форс мажор? Что вы родились в стране, где где форс мажор каждые 10 лет?
Что вы начали бизнес, и не хотели учитывать риски? Что мешало, кроме жадности, открыться в нормальном ДЦ и стране, где все намного спокойней? (к рашке это тоже относится, кстати).
Если вы начали бизнес - предоставление услуг, так предоставляйте их. И хватит валить все на форс-мажор. Молча компенсируйте и разгребайте трабблы.
Сколько раз сталкивался с украинскими коллегами, всегда наблюдаю ооочень странную позицию в их отношении к оказываемым ими услугам.
На самом деле форс-мажор в цивилизованных странах только в случае уведомления одной из сторон в течение определенного законом или договором срока. Так форс-мажор не учитывается и работа продолжается. Так что в этой ситуации, когда деньги взяли и форс-мажором это не объявляли официально, договор все еще имеет силу.
У меня тоже можно за 2000 € взять конфиг с ссд и 10Г каналом, который гарантировано утилизирует 10Г, но за 600 евро с дуал кором это просто не реально.
Можно и атомом 10 гбит нагрузить, гуглите netmap. Был план антиддос построить на атомах во Франции, они их там за копейки продавали с 10гбит каналом. Правда как только netmap с ipfw in userland популярным стал, сразу прикрыли лавочку и цены за траффик выросли.
Я думаю просто надо жалобы отправлять тем кто пострадали. И не через форум, а сразу через местного юриста вот сюда abuse-mailbox: abuse@cloudflare.com по поводу клеветы на домене searchengines.guru.
Раз модераторы ничего не хотят делать, надо действовать административными методами имхо.
DPI не справляется :)
4 разных нока без падения, что я делаю не так?
NOC-и могут не падать, т.к. у них есть инициатива обновлятьcz часто, вот T2 транзиты, T3 и обменники со старыми кисками падали.
Это не ддос, дело в том что сегодня день 512К!
А именно количество рутов IPv4 перевалило в рут-тейбле за 512000.
Многие рутеры и свитчи не были готовы, вот и результат.
http://www.reddit.com/r/sysadmin/comments/2dcol3/the_internet_hit_512k_bgp_routes_today_causing/
А сколько Юнитов? Сколько электричества потребуется? Не каналами едины.