Romka_Kharkov

Romka_Kharkov
Рейтинг
485
Регистрация
08.04.2009
Должность
Хостинг
Качественный хостинг
vase:
Доброго времени суток. Самый простой способ занять память:

#include <stdio.h>
#include <string.h>
#include <stdlib.h>

int main (void) {
int n = 0;
char *p;

while (1) {
if ((p = malloc(1<<20)) == NULL) {
printf("malloc failure after %d MiB\n", n);
return 0;
}
memset (p, 0, (1<<20));
printf ("got %d MiB\n", ++n);
}
}

Ок, попробую с доступом что дал ваш товарищ. Схема почти понятная я не особый спец в программировании... Попробуем, почитаем еще.

vase:

По поводу ramfs все сложно. Его структура такова, что она не использует оперативную память в чистом виде (как в данном тесте), а использует дисковой кеш. Так как cloud сервис не учитывает кеш и пытается его снизить до предела (иначе Вы потратите всю память под кеш, а Вы же не хотите за это переплачивать.. или хотите? - если да, то я могу скорректировать :)).
Я попробуйю обойти в данном случае ограничение, но только если страницы памяти будут помечены как dirty. Если оно их не пометит таковыми, то увы - использовать сейчас рам диск не выйдет. Пока не будет стабилизирован cleancache в ядре и tmem. Опыты ведутся, но времени на них мало.

Насчет RAM FS я понимаю , но ! опять же креш ядра..... это не совсем то, что ожидалось увидеть реально, пусть бы оно вывалило корку от процесса или написало ошибку, но блин креш ВПС-а из за записи в память это как бы ЫЫЫЫыы.

vase:

Если нужна техника идея простая. Мы следим за тем сколько памяти выделенно. Если ее больше чем надо - убавляем. Это больше чем определяется из разницы между всей памятью, текущей свободной, кешем буферами. Если Эта формула дает на выходе число больше определенного снижаем на разницу, но не слишком сильно, дабы не убить систему. Как показали опыты, если оставлять неиспользуемый лимит меньше 100 мегабайт, по крайней мере центос, начинает падать. Рамфс специфичная ситуация, хотя я уверен что таких ситуаций будет много, потому что 99 процентов программ пишутся из расчета, что размер памяти не меняется. Что является архаизмом, так как хотплаг в физический сервер памяти существует уже довольно давно.

Вот тут и беда, я согласен полностью с вами, многие программы просто не рассчитаны на масштабирование, я прекрасно понимаю например как сейчас разделить ресурс частями , видео , аудио, картинки и все прочее, но к сожалению нет движков которые заточены под такие технологии, все как-то узурпировано под 1 тазик физический, это бред.... А так сделать двиг из собственных API по раскладыванию скажем сайта на разные участки кластера - уже будет выигрыш в производительности не кислый... Может огранизуем какую-то группу и на свободных началах напишем какой-то движок заточенный под Cloud / Farm / Cluster... ? Выслушать бы пользователей которые пользуются движками.... я конечно опыта много имею в администрировании хостингов и всего прочего но с самими движками как понимаете сталкиваюсь весьма опосредованно...... По этому всех тонкостей и деталей не знаю, кто-то писал что в WP например есть модуль который UPLOAD данные складывает на FTP Кажется, это уже продвижение реально.... Ну а если в корень взглянуть, то мне кажется что рынок не готов еще к Cloud так как это должно быть на самом деле, я представил бы себе Cloud в виде некого облака в которое я подключаюсь как клиент и работаю со своими данными, не важно что это за данные,сайт или что-то другое, но все ПО заточено блин под 1 тазик... начинаю повторяться уже.... в общем согласен насчет динамики памяти :D тут спорить нет смысла. А ситуации будут и будут , бесспорно, но хочется же знать их и понимать пути решения, по этому у меня и вызван интерес очень великий, так как сейчас потратить кучу бабла на кластер как бы можно, но есть же те, кто уже запустили и действуют, вот собираю так сказать по клокам информацию.

Romka_Kharkov добавил 09.12.2010 в 03:03

admad:
Вот. Наш специалист выступил :)

трое на одного ..... BALANCE !!!! ;)

Romka_Kharkov добавил 09.12.2010 в 03:04

vase:

Вот это еще хорошо почитать:
http://www.thegeekstuff.com/2008/11/overview-of-ramfs-and-tmpfs-on-linux/

Тоже как бы в курсе, там описано собственно то же самое, что я пытался применить... tmpfs не удачный пример, по этому с ним тестить не стал в принципе.

dataselectel:
Долго читал. Хотелось отвечать, но коллега из Clodo отвечал быстрее. Респект ему как говориться.
Romka_Kharkov, Вот скажите мне пожалуйста, что вы пытаетесь доказать?
Последний раз, когда на Riw2010 меня начали расспрашивать про модель Хостинга которую предлагаем мы и Clodo, люди преследовали только одну цель - Доказать ее не состоятельность, без права на жизнь. К счастью у них это не вышло.
Вы только не обижайтесь, но все же....?

Уважаемый, я не обижаюсь, а тем более , что на обиженных говорят балконы падают, цель которую преследую я не сложно понять, это обучение, стремление знать больше, уметь лучше. Я точно так же как и вы (видимо) технический специалист. Я не пытаюсь доказать несостоятельность вашей схемы, я не пытаюсь доказать ее проблемные моменты которые сводят её существование на нет, я не пытаюсь этого сделать, я вижу людей на форуме, которые хотят что-то пронести в массы (в том числе и ваш Cloud), я хочу понять как это работает и на сколько это жизнеспособно, почему вы вместо того что бы что-то признавать начинаете становиться в контры, как будто все... вот он Ромка рецидивист.... Толерантности что ли недостаточно не знаю даже.

То что в момент первых же тестов записи в ramFS происходит какой-то бок, выявилось случайно, или быть может вы думаете что я специально для этого аккаунт попросил ? Сущий бред, мне есть чем заняться. Я просто имел очень короткий опыт работы физически с Infiniband, а так же последнее время думаю о собственной реализации на базе Infiniband.. Увидел тему, пошло обсуждение...... Быть может мои суждения для вас критика, но увы я то по сути говорю... т.е реальность....

Не судите меня, я объективен, ничего не придумал, хожу, спрашиваю, познаю, учу, передаю дальше...

Другими словами, мне все равно , будете вы сейчас писать на сайте честно что падает тачка при работе с RamFS то ли эта тема потеряется в истории форума.... меня интересует техническая реализация , ее работа, как это продавать - дело сугубо ваше я не претендую тут ни на что...

valuex:
Видимо речь идет о R1 ( http://www.r1soft.com/linux-cdp/cdp-enterprise-edition/vms/ ).

Переводить в клиентской части solus собственно нечего, там текста на 15кб.

Согласен.

Т.С: Там нет сложного оборота английского, кнопочки типа "Mail" "DNS" "Domain" должны быть интуитивно понятны большему проценту интернет пользователей :)

admad:
Все проще. Получили виртуалку с оперативкой по минимуму 1гб + свап на 5гб. Пытаетесь создать рамдиск на 10гб. Вирталка падает при попытке заполнить диск так как диск создать не из чего. Мы масштабируем память по показаниям в /proc/meminfo CommitedAS, а там создание ramfs не учитывается поэтому и память не добавляется. Это словами менеджера, не администратора. Наш админ обещал отписаться поподробнее по этой ситуации.

Ну тогда пусть админ покажет процедуру которая позволит мне занять много в памяти...... Я бы хотел запустить что-то и на рядом в топе увидеть как мои 1.5 GB превратятся в 15 GB :)) на два дня мне это не надо, просто 1 раз увидеть на 5-10 минут вполне достаточно будет.

Между прочим первый раз аналогичная история произошла при создании ramfs в 100mb

LineHost:
Почему же неверно? Всё верно, просто по скорости записи в рамдиск можно тоже делать выводы....

Можно, но вывод не получился, в трех случаях тачка ушла в ступор ;))))) И потом в Ребут, crash виден на стадии вывода "last" ...

LineHost:
Наверно интересует этот результат ;)


# dd if=/dev/zero of=/mnt/ramfs/file.null bs=10M count=10

10+0 records in
10+0 records out
104857600 bytes (105 MB) copied, 0.28669 s, 366 MB/s


А на нормальных VPS получается ~:
104857600 bytes (105 MB) copied, 0.0538258 seconds, 1.9 GB/s

Почему "интересует", я просто проверил, запись в ramFS, это что-то супер не правильное? Сотни людей арендуя VPS могут создавать рамдиски...

admad:
Хм. Щас проверю.

root pts/0 98.142.241.18 Wed Dec 8 18:59 still logged in
reboot system boot 2.6.18-194.26.1. Wed Dec 8 18:58 (00:05)
root pts/1 usr-109-236-101- Wed Dec 8 18:48 - crash (00:10)
root pts/0 98.142.241.18 Wed Dec 8 18:48 - crash (00:10)
reboot system boot 2.6.18-194.26.1. Wed Dec 8 18:47 (00:16)
root pts/1 usr-109-236-101- Wed Dec 8 18:42 - crash (00:04)
root pts/0 98.142.241.18 Wed Dec 8 18:42 - crash (00:05)
reboot system boot 2.6.18-194.26.1. Wed Dec 8 18:42 (00:22)
root pts/0 98.142.241.18 Wed Dec 8 18:34 - crash (00:08)
reboot system boot 2.6.18-194.26.1. Wed Dec 8 18:33 (00:30)
root pts/1 98.142.241.18 Wed Dec 8 18:07 - crash (00:26)
root pts/0 usr-109-236-101- Wed Dec 8 18:03 - 18:08 (00:04)
reboot system boot 2.6.18-194.26.1. Wed Dec 8 17:54 (01:10)

Лол, как-то быстро, я сам такой прыти от себя не ожидал ?:) Может я мега команду выполнил? :)

может я конечно странный товарищ но :


1. mkdir /mnt/tmpfs /mnt/ramfs
2. mount -t ramfs -o size=10000m ramfs /mnt/ramfs
3. dd if=/dev/zero of=/mnt/ramfs/file.null bs=10M count=10

привело к зависанию. Я все верно помню, ramfs работает исключительно с физическоЙ памятью? SWAP не должен пользоваться при переполнении....

Romka_Kharkov добавил 08.12.2010 в 21:48

admad:
Нормально коннектится. В history не вижу никаких команд кроме своих. Ничего не напутали?

У меня на одном из мониторов пинг запущен на ИП, я бы сказал что вы уже дважды перегружали впс... а вот уже и трижды.... или сеть пропадает регулярно? :)


[root@3502-23 ~]# uptime
18:48:28 up 0 min, 2 users, load average: 0.05, 0.01, 0.00
[root@3502-23 ~]#

Дальше:

ssh: connect to host 188.127.237.32 port 22: Connection refused

В общем первые впечатления ничего :D :D :D

Я успел зафиксировать только понижение total памяти, видимо как раз таки в моменты простоя..... с 1,5 G скатилось до 850Mb ...... прикольно :)

admad:
Смотрите личку. Да полуночи хватит времени на эксперименты?

Шо-то упало там как-то :))))


root@core16 [~]# ssh root@188.127.237.32
ssh: connect to host 188.127.237.32 port 22: Connection refused
root@core16 [~]#

Romka_Kharkov добавил 08.12.2010 в 21:37

что-то второй раз попытался в ramfs записать..... и подвисон какой-то, хотя ramfs всего 100mb создал....

Romka_Kharkov добавил 08.12.2010 в 21:40

Я убийца VPS :) Жуть ;)

valuex:
http://wiki.solusvm.com/index.php/Installing_a_Master

Если вики не врет, то ставить мастер без виртуализации можно куда угодно... А если с виртуализацией, то на мастер оно начнет ставить OpenVZ без предупреждений.

Верно говорите, если устанавливать просто управляющий модуль, там не гипервизор ничего не требуется , поддержка виртуализации не нужна, но на самом деле на самом мастере можно еще держать и ноду (slave), но только при использовании OVZ.

Всего: 6838