- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Спасибо. Попробуем диагностировать Вашу ситуацию со свопом
День добрый, так понимаю вы сотрудник одной из описанных выше компаний, можете пояснить сообществу принципы работы вашего клауда, используются ли распределенные\сетевые FS? что за виртуализация?
День добрый, так понимаю вы сотрудник одной из описанных выше компаний, можете пояснить сообществу принципы работы вашего клауда, используются ли распределенные\сетевые FS? что за виртуализация?
Виртуализация: XEN
Файловая система: GPFS
Принцип работы простой. Если говорить об услуге Scale Server (топикстартер именно эту услугу описал), то для виртуального сервера выделяется опреративная память по потребностям ОС. Выделение происходит с помощью встроенной в ОС функциональности hot plug memory. Когда и сколько добавлять или забирать памяти решает контроллер кластера. Для этого контроллер собирает информацию о состоянии виртуального сервера раз в секунду. Кстати, Swap жизенно необходим при больших запросах памяти в промежутке между сбором статистики, мы крнечно оставляем запасом 100МБ свободных, но этого может не хватить при резком росте нагрузки и swap выручает до следующего выделения.
Виртуальному серверу выделяются все доступные ядра физической ноды. При этом гарантируется, что на каждые 256МБ выделенной памяти вы безусловно получите 6,25% мощности одного ядра.
Виртуальный сервер может масштабироваться в рамках физической ноды без дополнительных вмешательств со стороны. Если при масштабировании на ноде есть другие виртуалки, и недостаточно места для масштабирования, мы мигрируем последовательно и в рамках необходимого ресурса на рост маленькие и не загруженные виртуалки. Масштабирование более чем на одну ноду также возможно с помощью балансировщика, но эта услуга предоставляется в индивидуальном порядке. Сейчас, например, мы ведем переговоры по реализации проекта вычислительной инфраструктуры пресс-центра и медиабанка футбольного клуба Зенит (до 250 тыс. хостов и более 2 млн хитов в день). После реализации напишем подробности на хабре.
Это базовые сведения о работе хостинга. Если есть более конкретизированные вопросы, готов ответить на них.
Спасибо. Попробуем диагностировать Вашу ситуацию со свопом
Вы правы, насчёт свопа. Провёл повторное тестирование на обработку изображения, тест прошёл без фейлов.
- работа с большим изображением
ab -n 100 -c 8 http://localhost/phpinfo.php
clodo 157.20 sec CPU load ~57% RAM used 300-7800 Mb
Mem: 7865920k total, 6203212k used, 1662708k free, 1180k buffers
Swap: 5116660k total, 345612k used, 4771048k free, 15064k cached
Остаются открытыми два вопоса:
1. Почему своп не показался сразу
2. Залипание сервера при трансфере файла. Попробую завтра утром ещё раз прогнать тесты на трансфер.
Виртуализация: XEN
Файловая система: GPFS
Принцип работы простой. Если говорить об услуге Scale Server (топикстартер именно эту услугу описал), то для виртуального сервера выделяется опреративная память по потребностям ОС. Выделение происходит с помощью встроенной в ОС функциональности hot plug memory. Когда и сколько добавлять или забирать памяти решает контроллер кластера. Для этого контроллер собирает информацию о состоянии виртуального сервера раз в секунду. Кстати, Swap жизенно необходим при больших запросах памяти в промежутке между сбором статистики, мы крнечно оставляем запасом 100МБ свободных, но этого может не хватить при резком росте нагрузки и swap выручает до следующего выделения.
Виртуальному серверу выделяются все доступные ядра физической ноды. При этом гарантируется, что на каждые 256МБ выделенной памяти вы безусловно получите 6,25% мощности одного ядра.
Виртуальный сервер может масштабироваться в рамках физической ноды без дополнительных вмешательств со стороны. Если при масштабировании на ноде есть другие виртуалки, и недостаточно места для масштабирования, мы мигрируем последовательно и в рамках необходимого ресурса на рост маленькие и не загруженные виртуалки. Масштабирование более чем на одну ноду также возможно с помощью балансировщика, но эта услуга предоставляется в индивидуальном порядке. Сейчас, например, мы ведем переговоры по реализации проекта вычислительной инфраструктуры пресс-центра и медиабанка футбольного клуба Зенит (до 250 тыс. хостов и более 2 млн хитов в день). После реализации напишем подробности на хабре.
Это базовые сведения о работе хостинга. Если есть более конкретизированные вопросы, готов ответить на них.
Уже по взрослому, а вот GPFS я помню на AIX сталкивался, оно под Linux есть ??? или на каких осях работает система? А та как же хотелось бы ссылочку на
Выделение происходит с помощью встроенной в ОС функциональности hot plug memory.
есть такая?
Уже по взрослому, а вот GPFS я помню на AIX сталкивался, оно под Linux есть ??? или на каких осях работает система? А та как же хотелось бы ссылочку на
есть такая?
С linux GPFS тоже работает. Конкретно у нас оаботает на SLES
Проссылку не понял. Ссылку на что? На возможности ядер linux?
С linux GPFS тоже работает. Конкретно у нас оаботает на SLES
Suse значит... это domain0 ?
А что на счет CentOS? FC ? Или на гостевухи не влияет? я так понимаю раз это XEN, то ядро внутри гостевухи тоже должно понимать hot plug..?
Проссылку не понял. Ссылку на что? На возможности ядер linux?
Ознакомился. Понял о чем речь. Отдельно порадовала возможность добавления физической памяти при использовании ACPI без ребутов, магия блин :))))
Suse значит... это domain0 ?
А что на счет CentOS? FC ? Или на гостевухи не влияет? я так понимаю раз это XEN, то ядро внутри гостевухи тоже должно понимать hot plug..?
Ознакомился. Понял о чем речь. Отдельно порадовала возможность добавления физической памяти при использовании ACPI без ребутов, магия блин :))))
Suse в Dom0, но может быть уйдем от SLES так как патчи долго ждать от них. Выбрали SLES потому, что эта ОС лучше работает с Infiniband, который мы используем для интерконнекта. Но это субъективно. CentOS в DomU потому, что более стабилен с MOD. Хотя тоже только наше мнение. Как раз ядро в DomU и должно поддерживать hotplug.
Suse в Dom0, но может быть уйдем от SLES так как патчи долго ждать от них. Выбрали SLES потому, что эта ОС лучше работает с Infiniband, который мы используем для интерконнекта. Но это субъективно. CentOS в DomU потому, что более стабилен с MOD. Хотя тоже только наше мнение. Как раз ядро в DomU и должно поддерживать hotplug.
Ваааааа, вы используете Infiniband ????? Возьмите на работу :)))))) Мы говорим про шину???? Шо за девайсы, де читать? Уже давно хочу погонять .... Тут на SE я только 1го человека встречал который тоже знает что это такое, и это не вы, значит уже двое :))) Собственно интересно где купить коммутаторы , ваши отзывы об этой технологии, она не новая , я в курсе, но применяется весьма редко в отрасли хостинга.... Я так понимаю вы RDMA используете?
Romka_Kharkov добавил 05.12.2010 в 12:29
Как раз ядро в DomU и должно поддерживать hotplug.
Я понял, у вас просто не происходит выделение памяти в dom0 динамическое, у вас уже стоят ящики в которых или физически или через RDMA есть объем памяти , в таком случае естественно функции в ядре для dom0 не нужны..... А что если например надо на физической ноде (dom0) ресайзить память ? Суть облака на сколько я понимаю в почти безграничном масштабировании... т.е через какое-то время 32 GB памяти надо будет для запуска WP со всеми модулями, но при этом штатного CPU на ноде будет хватать для сотни таких WP.... :))) Есть ли у вас например возможность из вашего массива памяти выдать ну 100 GB на одну ноду? (пусть в теории).
Ваааааа, вы используете Infiniband ????? Возьмите на работу :)))))) Мы говорим про шину???? Шо за девайсы, де читать? Уже давно хочу погонять .... Тут на SE я только 1го человека встречал который тоже знает что это такое, и это не вы, значит уже двое :))) Собственно интересно где купить коммутаторы , ваши отзывы об этой технологии, она не новая , я в курсе, но применяется весьма редко в отрасли хостинга.... Я так понимаю вы RDMA используете?
Romka_Kharkov добавил 05.12.2010 в 12:29
Я понял, у вас просто не происходит выделение памяти в dom0 динамическое, у вас уже стоят ящики в которых или физически или через RDMA есть объем памяти , в таком случае естественно функции в ядре для dom0 не нужны..... А что если например надо на физической ноде (dom0) ресайзить память ? Суть облака на сколько я понимаю в почти безграничном масштабировании... т.е через какое-то время 32 GB памяти надо будет для запуска WP со всеми модулями, но при этом штатного CPU на ноде будет хватать для сотни таких WP.... :))) Есть ли у вас например возможность из вашего массива памяти выдать ну 100 GB на одну ноду? (пусть в теории).
По поводу работы... Вакансии есть на сайте в разделе "о компании".
Шина QDR. RDMA теоретически позволяет выполнить то о чем Вы говорите, но практическая реализация займет кучу времени + тестирование. Такая задача у нас скорее в рамках научного исследования числится :) и в продакшене в ближайшее время не появится.
Использование Swap целесообразно. Не надо лишь допускать того что бы он активно юзался. Без swap может получиться out of memory при резком запросе большого объема оперативки. При этом мы (clodo.ru) считаем что swap не должен билинговаться, так как это инструмент, который нам помогает нам давать сервис MOD более стабильно. То что у Вас был отключен Swap диск очень странно, я специально сейчас проверил, создал виртуалку и swap вижу.
Без swap диска можно предоставлять scale сервис, но только в том случае, если можно быть полностью уверенным, что используемые приложения будут забирать память кусками не более чем свободная память на данный момент времени.
vase добавил 05.12.2010 в 23:23
Я понял, у вас просто не происходит выделение памяти в dom0 динамическое, у вас уже стоят ящики в которых или физически или через RDMA есть объем памяти , в таком случае естественно функции в ядре для dom0 не нужны..... А что если например надо на физической ноде (dom0) ресайзить память ? Суть облака на сколько я понимаю в почти безграничном масштабировании... т.е через какое-то время 32 GB памяти надо будет для запуска WP со всеми модулями, но при этом штатного CPU на ноде будет хватать для сотни таких WP.... :))) Есть ли у вас например возможность из вашего массива памяти выдать ну 100 GB на одну ноду? (пусть в теории).
Ничего не понял=).
П.С. Как Подцеплять память удаленно через RDMA пока не видел...
vase добавил 05.12.2010 в 23:30
Вывод
Облачный хостинг хорошо подходит для начинающих проектов, владельцы которых пока не могут рассчитывать на более-менее прогнозируемую посещаемость, сильно нагруженным проектам лучше взять отдельный сервер. Что касается обзора провайдеров, то по моему субъективному мнению по тестам лидирует clodo, хотя из-за его глюков со связью и тем что он новичёк на рынке хостинг услуг, я бы побоялся. В то же время у selectel невразумительные проблемы с MOD которые противоречат самой цели создания облачной системы хостинга.
Я давно еще хотел взять сервер, со времен работы в Петерхост. Я не согласен с тем, что сильно нагруженным проектам стоит брать выделенный сервер потому, что не всегда можно предсказать и спрогнозировать какая аппаратная часть понадобится. К тому же, совсем обидно видеть, когда арендуемый сервер отвалился, потому что хостер сплавил бу железку и там что-то навернулось (raid контроллер или память..), да, поменяют быстро, может минут за 15. Но в случае летаний в облаке все произойдет еще быстрее, если конечно вообще это произойдет...