Romka_Kharkov: А можете мне VPS запустить в этой среде с доступными 30 GB памяти? Использовать их и нагружать естественно не буду, хочу просто посмотреть что да как в системе при этом.. реально?
Смотрите личку. Да полуночи хватит времени на эксперименты?
Romka_Kharkov: Так вы тут же говорите что оно динамически масштабируется (в часности разговор шел о RAM), если клиенту надо в какой-то момент 16 GB RAM он ее получает, владея своим кошельком... так вот тоже самое и в шареде, ведь согласитесь, если у вас из 16 gig будет 10 занято, то еще 16 ваше облако выделить не сможет.... (Аналогия с CPU), по этому пока аргумент ваш не зачтен :D , по прежнему думаю что это одно и тоже. :)
Ничего подобного. Выделим вплоть до 56ГБ по первому запросу. Если оперативки на ноде не хватает то выполняется live миграция мелких VPS на другие ноды и освобожденное место выделяется для расширения. Миграция небольших виртуалок (до 4ГБ) занимает до 20 секунд. В момент освобождения ноды для масштабирования виртуалки юзается swap, посл освобождения оперативки выделяется память и swap разгружается.
ussr1990: А чё за процеесор то такой 14 ядерный? У вас на сайте указанно что ресурсы выделяетюя от Intel Xeon 5520,там 4 ядра+ht.
Речь идёт о 2-х процессорной системе(Intel Xeon 5520*2) в которой вы считаете что 16 ядер и 2 заблокированы(почемуто) так чтоли получается?
Ядро HT считаем за отдельное. 2 ядра на нужды Dom0 оставляем.
rengen: Тут, кстати, есть вопрос. Я читал на сайте, но так и не понял, вы гарантируете 6,25% загрузки от одного из 14 ядер или 6,25% от суммы этих ядер?
Несколько раз подряд выполнил одно и тоже, результат конечно не постоянный но и не тот, который у Вас получился:
[root@20-224 ~]# dd if=/dev/zero of=1G bs=1M count=1024; sync
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 2.86048 s, 375 MB/s
[root@20-224 ~]# dd if=/dev/zero of=1G bs=1M count=1024; sync
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 4.42252 s, 243 MB/s
[root@20-224 ~]# dd if=/dev/zero of=1G bs=1M count=1024; sync
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 4.05335 s, 265 MB/s
^[[A[root@20-224 ~]# dd if=/dev/zero of=1G bs=1M count=1024; sync
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 3.03787 s, 353 MB/s
[root@20-224 ~]# dd if=/dev/zero of=1G bs=1M count=1024; sync
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 2.85906 s, 376 MB/s
Если интересно могу дать в личку доступ к vps. По поводу такой разницы поручил админам проверить.
LineHost: Но сеть, оставляет желать лучшего, если стягиваем 100 мбпс файл на ваш небесный VPS с сервра на гигабите, получаем:
2010-12-08 11:59:16 (1.36 MB/s) - `100mb.bin.1' saved [104857600/104857600]
При том, скорость очень нестабильна и колеблится от 0,5 до 4 MB/s и это ещё не час пик....
90% [===============================================================================================================> ] 3,682,002,944 25.2M/s in 2m 2s
admad добавил 08.12.2010 в 15:15
Vanger: можно продать клиентам столько ресурсов, что в нужный момент не получится выделить им запрошенную память, CPU или IOPS
VDS'ки то резиновые
при этом уже выделенные ресурсы будут честными и железными, но кого это спасет
LineHost: Это сказки, и могу обосновать, так как с XEN VPS работаю с 2006 года. Оверселить можно всё, если совесть запереть в тёмный склад ;)
XEN не разрешает оверселить только RAM, но оверселить CPU или IO или оба сразу можно и все это делает. А также сеть....
Сеть и IO несомненно можно оверселить. Вернее даже не оверселить, а кто то из соседей может забить канал. Кроме того как сделать этот канал широким (Infiniband QDR) мы ничего не придумали.
Я конечно могу сколько угодно бить себя в грудь и говорить что CPU мы не оверселим, но то что не поверите, вероятность высокая. Могу только сказать, что веса на использование CPU мы выставляем в зависимости от выделяемой памяти, при этом мы гарантируем 6,25% от ядра на каждые 256МБ
rengen: который сейчас в моде и очереди в 40 запросов, без всяких злокачественных внешних факторов. Облако не будет оверселится загружаясь на 150-200%, т. к. это не выгодно хостеру. Но это предположение, поживём-увидим.
Ага, ясно, ну что же, достаточно интересное решение, хотя я все же смутно понимаю выгоду. В обоих случаях произойдет остановка, что в случае с облаком , что в случае с обычным хостингом, если туда зайдут китайцы или прочее... потому что и там и там по сути есть лимиты. Клиент с одной стороны платит мало во время простоя, а с другой стороны платит много во время пиков, когда достигает величин. Вы ведь не будете отрицать что есть возможность например управлять объемом занятой памяти в конкретной ноде? :D что может существенно влиять на статистику пользователя :) Ну это я так к концепции, что бы понимать все окончательно , надо знать все составляющие. Это понимаете ли такая штука выходит интересная, что когда я например на Shared Hostiing сервере запускаю клиента, он по сути так же владеет всеми ядрами (сколько их там есть на сервере), другой вопрос, я как администратор разрешаю или не разрешаю такие действия в системе, так же клиент на шаред хостинге получает доступ ко ВСЕЙ памяти на машине, при условии опять же что админ с этим согласен, что касается I/O - аналогично. Так вот золотой вопрос , "В чем же разница?", в вашем случае собран кластер из нескольких машин, но он по прежнему остается в поле функционала обычного шаред сервера, только большого... ;) Вот и не понимаю я что за Cloud предлагают то одни то другие , изучаю.......
Shared хостинг дает все ядра и всю оперативку всем клиентам сразу. Это хорошо когда на ноде один клиент. А что если их пять сотен? Мы в облаке гарантированно выделяем ресурс. Если выделили гигабайт оперативки то он только Ваш и Вы никак не зависите от нагрузки которую генерируют соседи. То что виртуальный сервер имеет своё ядро с которым можно делать все что угодно наверное не надо упоминать :)
Romka_Kharkov: А как себя ведет Infiniband при выпадании нодов из стека?
Infifniband просто теряет линк с нодой.
Romka_Kharkov: А LustreFS гонять по отдельной сети не пробовали? :D
bdmalex: Ну вот - началось в колхозе утро..С таким же успехом покупаем 2 сервера на коло в кластере. Посчитаете, вероятность отказа кластера из 2 серверов и вашей полусотни ?
Обеспечение всех этих вероятностей - это в большей степени финансовый вопрос и стратегия. И она определяется не поставщиком услуг, как Вам бы этого не хотелось!
Если у проекта достаточно средств для покупки пары своих серверов, то естественно наши услуги будут не интересны так как в таком случае и затраты на коло для такой компании не существенные деньги.
admad добавил 08.12.2010 в 13:14
LineHost: Самая простая проверка:
dd if=/dev/zero of=1G bs=1M count=1024; sync
Проверил:
[root@20-224 ~]# dd if=/dev/zero of=1G bs=1M count=1024; sync
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 2.96621 s, 362 MB/s
А можете мне VPS запустить в этой среде с доступными 30 GB памяти? Использовать их и нагружать естественно не буду, хочу просто посмотреть что да как в системе при этом.. реально?
Смотрите личку. Да полуночи хватит времени на эксперименты?
и как часто миграцию выполнять приходиться?
как часто клиенты хотят "забрать" ресурсы всей ноды?
накоплена уже какая-то статистика?
Ресурсы всей ноды (те 56гб) забирали только на тестировании. Самое большое, что было в продакшене это около 19ГБ.
Так вы тут же говорите что оно динамически масштабируется (в часности разговор шел о RAM), если клиенту надо в какой-то момент 16 GB RAM он ее получает, владея своим кошельком... так вот тоже самое и в шареде, ведь согласитесь, если у вас из 16 gig будет 10 занято, то еще 16 ваше облако выделить не сможет.... (Аналогия с CPU), по этому пока аргумент ваш не зачтен :D , по прежнему думаю что это одно и тоже. :)
Ничего подобного. Выделим вплоть до 56ГБ по первому запросу. Если оперативки на ноде не хватает то выполняется live миграция мелких VPS на другие ноды и освобожденное место выделяется для расширения. Миграция небольших виртуалок (до 4ГБ) занимает до 20 секунд. В момент освобождения ноды для масштабирования виртуалки юзается swap, посл освобождения оперативки выделяется память и swap разгружается.
А чё за процеесор то такой 14 ядерный? У вас на сайте указанно что ресурсы выделяетюя от Intel Xeon 5520,там 4 ядра+ht.
Речь идёт о 2-х процессорной системе(Intel Xeon 5520*2) в которой вы считаете что 16 ядер и 2 заблокированы(почемуто) так чтоли получается?
Ядро HT считаем за отдельное. 2 ядра на нужды Dom0 оставляем.
Тут, кстати, есть вопрос. Я читал на сайте, но так и не понял, вы гарантируете 6,25% загрузки от одного из 14 ядер или 6,25% от суммы этих ядер?
Одного из 14
Не буду скрывать. это заявление меня заинтриговало.... и я заказал тестовый акаунт.... Результат:
1073741824 bytes (1.1 GB) copied, 28.5055 s, 37.7 MB/s
Несколько раз подряд выполнил одно и тоже, результат конечно не постоянный но и не тот, который у Вас получился:
Если интересно могу дать в личку доступ к vps. По поводу такой разницы поручил админам проверить.
Но сеть, оставляет желать лучшего, если стягиваем 100 мбпс файл на ваш небесный VPS с сервра на гигабите, получаем:
2010-12-08 11:59:16 (1.36 MB/s) - `100mb.bin.1' saved [104857600/104857600]
При том, скорость очень нестабильна и колеблится от 0,5 до 4 MB/s и это ещё не час пик....
Мой тест по сети
admad добавил 08.12.2010 в 15:15
можно продать клиентам столько ресурсов, что в нужный момент не получится выделить им запрошенную память, CPU или IOPS
VDS'ки то резиновые
при этом уже выделенные ресурсы будут честными и железными, но кого это спасет
"российские хостеры умеют даже XEN с KVM оверселлить":D ©
Для этого есть live migration
admad добавил 08.12.2010 в 15:19
Это сказки, и могу обосновать, так как с XEN VPS работаю с 2006 года. Оверселить можно всё, если совесть запереть в тёмный склад ;)
XEN не разрешает оверселить только RAM, но оверселить CPU или IO или оба сразу можно и все это делает. А также сеть....
Сеть и IO несомненно можно оверселить. Вернее даже не оверселить, а кто то из соседей может забить канал. Кроме того как сделать этот канал широким (Infiniband QDR) мы ничего не придумали.
Я конечно могу сколько угодно бить себя в грудь и говорить что CPU мы не оверселим, но то что не поверите, вероятность высокая. Могу только сказать, что веса на использование CPU мы выставляем в зависимости от выделяемой памяти, при этом мы гарантируем 6,25% от ядра на каждые 256МБ
который сейчас в моде и очереди в 40 запросов, без всяких злокачественных внешних факторов. Облако не будет оверселится загружаясь на 150-200%, т. к. это не выгодно хостеру. Но это предположение, поживём-увидим.
XEN нам в принципе не дает оверселить.
День добрый,
Ага, ясно, ну что же, достаточно интересное решение, хотя я все же смутно понимаю выгоду. В обоих случаях произойдет остановка, что в случае с облаком , что в случае с обычным хостингом, если туда зайдут китайцы или прочее... потому что и там и там по сути есть лимиты. Клиент с одной стороны платит мало во время простоя, а с другой стороны платит много во время пиков, когда достигает величин. Вы ведь не будете отрицать что есть возможность например управлять объемом занятой памяти в конкретной ноде? :D что может существенно влиять на статистику пользователя :) Ну это я так к концепции, что бы понимать все окончательно , надо знать все составляющие. Это понимаете ли такая штука выходит интересная, что когда я например на Shared Hostiing сервере запускаю клиента, он по сути так же владеет всеми ядрами (сколько их там есть на сервере), другой вопрос, я как администратор разрешаю или не разрешаю такие действия в системе, так же клиент на шаред хостинге получает доступ ко ВСЕЙ памяти на машине, при условии опять же что админ с этим согласен, что касается I/O - аналогично. Так вот золотой вопрос , "В чем же разница?", в вашем случае собран кластер из нескольких машин, но он по прежнему остается в поле функционала обычного шаред сервера, только большого... ;)
Вот и не понимаю я что за Cloud предлагают то одни то другие , изучаю.......
Shared хостинг дает все ядра и всю оперативку всем клиентам сразу. Это хорошо когда на ноде один клиент. А что если их пять сотен? Мы в облаке гарантированно выделяем ресурс. Если выделили гигабайт оперативки то он только Ваш и Вы никак не зависите от нагрузки которую генерируют соседи. То что виртуальный сервер имеет своё ядро с которым можно делать все что угодно наверное не надо упоминать :)
А как себя ведет Infiniband при выпадании нодов из стека?
Infifniband просто теряет линк с нодой.
А LustreFS гонять по отдельной сети не пробовали? :D
Эксперементируем
Это только возможности пустого стораджа, когда нагрузите, дай бог каждая VPS'ка будет получать 10 MB/s.
У нас общий сторадж для всех виртуалок и сейчас он под нагрузкой.
Ну вот - началось в колхозе утро..С таким же успехом покупаем 2 сервера на коло в кластере. Посчитаете, вероятность отказа кластера из 2 серверов и вашей полусотни ?
Обеспечение всех этих вероятностей - это в большей степени финансовый вопрос и стратегия. И она определяется не поставщиком услуг, как Вам бы этого не хотелось!
Если у проекта достаточно средств для покупки пары своих серверов, то естественно наши услуги будут не интересны так как в таком случае и затраты на коло для такой компании не существенные деньги.
admad добавил 08.12.2010 в 13:14
Самая простая проверка:
Проверил:
Приемлемо?