Облачные хостинги от selectel и clodoб обзор и тесты

Почему же неверно? Всё верно, просто по скорости записи в рамдиск можно тоже делать выводы....

Можно, но вывод не получился, в трех случаях тачка ушла в ступор ;))))) И потом в Ребут, crash виден на стадии вывода "last" ...

Все проще. Получили виртуалку с оперативкой по минимуму 1гб + свап на 5гб. Пытаетесь создать рамдиск на 10гб. Вирталка падает при попытке заполнить диск так как диск создать не из чего. Мы масштабируем память по показаниям в /proc/meminfo CommitedAS, а там создание ramfs не учитывается поэтому и память не добавляется. Это словами менеджера, не администратора. Наш админ обещал отписаться поподробнее по этой ситуации.

Ну тогда пусть админ покажет процедуру которая позволит мне занять много в памяти...... Я бы хотел запустить что-то и на рядом в топе увидеть как мои 1.5 GB превратятся в 15 GB :)) на два дня мне это не надо, просто 1 раз увидеть на 5-10 минут вполне достаточно будет.

Между прочим первый раз аналогичная история произошла при создании ramfs в 100mb

Долго читал. Хотелось отвечать, но коллега из Clodo отвечал быстрее. Респект ему как говориться.

Romka_Kharkov, Вот скажите мне пожалуйста, что вы пытаетесь доказать?

Последний раз, когда на Riw2010 меня начали расспрашивать про модель Хостинга которую предлагаем мы и Clodo, люди преследовали только одну цель - Доказать ее не состоятельность, без права на жизнь. К счастью у них это не вышло.

Вы только не обижайтесь, но все же....?

Уважаемый, я не обижаюсь, а тем более , что на обиженных говорят балконы падают, цель которую преследую я не сложно понять, это обучение, стремление знать больше, уметь лучше. Я точно так же как и вы (видимо) технический специалист. Я не пытаюсь доказать несостоятельность вашей схемы, я не пытаюсь доказать ее проблемные моменты которые сводят её существование на нет, я не пытаюсь этого сделать, я вижу людей на форуме, которые хотят что-то пронести в массы (в том числе и ваш Cloud), я хочу понять как это работает и на сколько это жизнеспособно, почему вы вместо того что бы что-то признавать начинаете становиться в контры, как будто все... вот он Ромка рецидивист.... Толерантности что ли недостаточно не знаю даже.

То что в момент первых же тестов записи в ramFS происходит какой-то бок, выявилось случайно, или быть может вы думаете что я специально для этого аккаунт попросил ? Сущий бред, мне есть чем заняться. Я просто имел очень короткий опыт работы физически с Infiniband, а так же последнее время думаю о собственной реализации на базе Infiniband.. Увидел тему, пошло обсуждение...... Быть может мои суждения для вас критика, но увы я то по сути говорю... т.е реальность....

Не судите меня, я объективен, ничего не придумал, хожу, спрашиваю, познаю, учу, передаю дальше...

Другими словами, мне все равно , будете вы сейчас писать на сайте честно что падает тачка при работе с RamFS то ли эта тема потеряется в истории форума.... меня интересует техническая реализация , ее работа, как это продавать - дело сугубо ваше я не претендую тут ни на что...

Доброго времени суток. Самый простой способ занять память:

#include <stdio.h>

#include <string.h>

#include <stdlib.h>

int main (void) {

int n = 0;

char *p;

while (1) {

if ((p = malloc(1<<20)) == NULL) {

printf("malloc failure after %d MiB\n", n);

return 0;

}

memset (p, 0, (1<<20));

printf ("got %d MiB\n", ++n);

}

}

vase добавил 09.12.2010 в 01:19

По поводу ramfs все сложно. Его структура такова, что она не использует оперативную память в чистом виде (как в данном тесте), а использует дисковой кеш. Так как cloud сервис не учитывает кеш и пытается его снизить до предела (иначе Вы потратите всю память под кеш, а Вы же не хотите за это переплачивать.. или хотите? - если да, то я могу скорректировать :)).

Я попробуйю обойти в данном случае ограничение, но только если страницы памяти будут помечены как dirty. Если оно их не пометит таковыми, то увы - использовать сейчас рам диск не выйдет. Пока не будет стабилизирован cleancache в ядре и tmem. Опыты ведутся, но времени на них мало.

vase добавил 09.12.2010 в 01:20

Да, согласен. Обычно все, кто тестят cloud пытаются найти в нем ошибку и доказать, что идея плохая.

vase добавил 09.12.2010 в 01:23

Если нужна техника идея простая. Мы следим за тем сколько памяти выделенно. Если ее больше чем надо - убавляем. Это больше чем определяется из разницы между всей памятью, текущей свободной, кешем буферами. Если Эта формула дает на выходе число больше определенного снижаем на разницу, но не слишком сильно, дабы не убить систему. Как показали опыты, если оставлять неиспользуемый лимит меньше 100 мегабайт, по крайней мере центос, начинает падать. Рамфс специфичная ситуация, хотя я уверен что таких ситуаций будет много, потому что 99 процентов программ пишутся из расчета, что размер памяти не меняется. Что является архаизмом, так как хотплаг в физический сервер памяти существует уже довольно давно.

vase добавил 09.12.2010 в 01:26

Можно. Только Вы ничего не получите. Потому как скорость будет зависеть от других машин на сервере :). Это не сильно афишируется, но если идет интенсивный on demand memory одной машины с больших пределах, остальные будут проседать. Хотя и не сильно.

П.С. Тут затронут был оверсел по памяти - он возможен. Читайте рассылку по словам xenpaging.

vase добавил 09.12.2010 в 01:29

Вот это еще хорошо почитать: http://www.thegeekstuff.com/2008/11/overview-of-ramfs-and-tmpfs-on-linux/

Вот. Наш специалист выступил :)

Собственно сам себя дополню - в случае ramfs пока не представляется возможным правильно довыделить память:

До записи в рамфс Cached: 32876 kB

После записи 10 мегабайт Cached: 43360 kB

Больше в /proc/meminfo ничего не изменилось на такой объем. Собственно я пытаюсь снизить память, но рамфс по сути не отдает ее. Получаем oom killer. Сначала он убивает dd, потом все остальное :)

Судя по исходникам ядра, пока не представляю как можно перехватить данную ситуацию или хотя бы понять, сколько записалось в рам диск.

Ок, попробую с доступом что дал ваш товарищ. Схема почти понятная я не особый спец в программировании... Попробуем, почитаем еще.

Насчет RAM FS я понимаю , но ! опять же креш ядра..... это не совсем то, что ожидалось увидеть реально, пусть бы оно вывалило корку от процесса или написало ошибку, но блин креш ВПС-а из за записи в память это как бы ЫЫЫЫыы.

Вот тут и беда, я согласен полностью с вами, многие программы просто не рассчитаны на масштабирование, я прекрасно понимаю например как сейчас разделить ресурс частями , видео , аудио, картинки и все прочее, но к сожалению нет движков которые заточены под такие технологии, все как-то узурпировано под 1 тазик физический, это бред.... А так сделать двиг из собственных API по раскладыванию скажем сайта на разные участки кластера - уже будет выигрыш в производительности не кислый... Может огранизуем какую-то группу и на свободных началах напишем какой-то движок заточенный под Cloud / Farm / Cluster... ? Выслушать бы пользователей которые пользуются движками.... я конечно опыта много имею в администрировании хостингов и всего прочего но с самими движками как понимаете сталкиваюсь весьма опосредованно...... По этому всех тонкостей и деталей не знаю, кто-то писал что в WP например есть модуль который UPLOAD данные складывает на FTP Кажется, это уже продвижение реально.... Ну а если в корень взглянуть, то мне кажется что рынок не готов еще к Cloud так как это должно быть на самом деле, я представил бы себе Cloud в виде некого облака в которое я подключаюсь как клиент и работаю со своими данными, не важно что это за данные,сайт или что-то другое, но все ПО заточено блин под 1 тазик... начинаю повторяться уже.... в общем согласен насчет динамики памяти :D тут спорить нет смысла. А ситуации будут и будут , бесспорно, но хочется же знать их и понимать пути решения, по этому у меня и вызван интерес очень великий, так как сейчас потратить кучу бабла на кластер как бы можно, но есть же те, кто уже запустили и действуют, вот собираю так сказать по клокам информацию.

Romka_Kharkov добавил 09.12.2010 в 03:03

трое на одного ..... BALANCE !!!! ;)

Romka_Kharkov добавил 09.12.2010 в 03:04

Тоже как бы в курсе, там описано собственно то же самое, что я пытался применить... tmpfs не удачный пример, по этому с ним тестить не стал в принципе.