guns_linger: короткий ответ: входящие соединения устанавливать на адрес сервера который смотрит в канал A
(ну и в dns прописать этот адрес) и сделать default gateway на канал B.
какие bgp, ospf и policy routing? ;)
Что-то не совсем понятная схема, как можно "устанавливать входящие соединения"? Их разве ваша сторона устанавливает???.... она конечно непосредственно принимает участие, но опять же, трафик придет к вам обратно согласно или BGP (если мы говорим о внешнем мире и реальных сетях) или согласно default route у провайдера который собственно и выдал вам ИП адрес... А в случае если Тс говорит вообще про Internal IP так ничего не поможет, надо будет у обоих провайдеров резервировать сеть одну и ту же для таких реализаций.
Andreyka: А зачем? На сервере 2 сетевых интерфейса с двумя независимыми каналами
Трафик будет уходить и приходить через тот сетевой интерфейс, которому соответсвует исходный ip, что прекрасно делается через bind() в php
Andreyka: Зачем городить BGP или OSPF, если хватит src раутинка + метки пакетов, например - с привязкой по owner?
Допустим исходящий трафик по SRC вы отправите куда хотите тут вопросов нет, а как вы заставите обратную сторону присылать вам через другой маршрут (фактически точку B). В таком случае я понимаю вам понадобиться быть ее администратором в том числе.
Romka_Kharkov добавил 09.12.2010 в 21:35
'[umka: ;8152179']Romka_Kharkov, если прям на сервере, как верно выразился Andreyka, нагородить BGP с weight-ами, метриками и пр., то да такое сделать можно :)
Однако, я смею предположить (и чтобы заодно свести обсуждение к стилю сёрча)), что ТС преследует ложную цель, и что реальную задачу можно решить по-другому и гораздо проще :)
Вполне может быть .... но отрицать возможность асинхронности хождения трафика - смело как минимум :)
BGP (для внешних нужд) думаю может помочь в таком случае или OSPF (для внутренних нужд) ;)
Или че, асинхронное движение пакетов отменили?:)
Romka_Kharkov добавил 09.12.2010 в 20:23
'[umka: ;8150550']роутами можно только указать, чтобы исходящие соединения по-умолчанию устанавливались через интерфейс X, но как только соединение установилось, пакеты в обе стороны пойдут через интерфейс X.
По моему глупость сказали, у меня например два апстрима A и B,
Исходящий трафик я запускаю пусть default роутом через интерфейс апстрима A, и тут же в сторону A по BGP я увеличиваю AS-PATH для этого префикса, да увеличиваю так, что аж +3AS появится в пути (думаю будет достаточно для примера :D), на маршрутизаторе который обслуживает обратную сторону естественно сработает механизм поиска по кротчайшему пути и вернется ко мне на маршрутизатор тот же ответный трафик только через интерфейс апстрима B (естественно в сторону B анонсируется тот же префикс только без увеличения AS-PATH), так как путь через него к моим сетям окажется оптимальней. Вот вам решение в следствии которого трафик к вашим сетям будет двигаться асинхронно через два разных канала, естественно, это нечто похожее на RAID-0 ;)))) 1 из каналов упал и по сути нет интернета, целесообразнее их использовать как дублирующие :)
while (1) {
if ((p = malloc(1<<20)) == NULL) {
printf("malloc failure after %d MiB\n", n);
return 0;
}
memset (p, 0, (1<<20));
printf ("got %d MiB\n", ++n);
}
}
Ок, попробую с доступом что дал ваш товарищ. Схема почти понятная я не особый спец в программировании... Попробуем, почитаем еще.
vase:
По поводу ramfs все сложно. Его структура такова, что она не использует оперативную память в чистом виде (как в данном тесте), а использует дисковой кеш. Так как cloud сервис не учитывает кеш и пытается его снизить до предела (иначе Вы потратите всю память под кеш, а Вы же не хотите за это переплачивать.. или хотите? - если да, то я могу скорректировать :)).
Я попробуйю обойти в данном случае ограничение, но только если страницы памяти будут помечены как dirty. Если оно их не пометит таковыми, то увы - использовать сейчас рам диск не выйдет. Пока не будет стабилизирован cleancache в ядре и tmem. Опыты ведутся, но времени на них мало.
Насчет RAM FS я понимаю , но ! опять же креш ядра..... это не совсем то, что ожидалось увидеть реально, пусть бы оно вывалило корку от процесса или написало ошибку, но блин креш ВПС-а из за записи в память это как бы ЫЫЫЫыы.
vase:
Если нужна техника идея простая. Мы следим за тем сколько памяти выделенно. Если ее больше чем надо - убавляем. Это больше чем определяется из разницы между всей памятью, текущей свободной, кешем буферами. Если Эта формула дает на выходе число больше определенного снижаем на разницу, но не слишком сильно, дабы не убить систему. Как показали опыты, если оставлять неиспользуемый лимит меньше 100 мегабайт, по крайней мере центос, начинает падать. Рамфс специфичная ситуация, хотя я уверен что таких ситуаций будет много, потому что 99 процентов программ пишутся из расчета, что размер памяти не меняется. Что является архаизмом, так как хотплаг в физический сервер памяти существует уже довольно давно.
Вот тут и беда, я согласен полностью с вами, многие программы просто не рассчитаны на масштабирование, я прекрасно понимаю например как сейчас разделить ресурс частями , видео , аудио, картинки и все прочее, но к сожалению нет движков которые заточены под такие технологии, все как-то узурпировано под 1 тазик физический, это бред.... А так сделать двиг из собственных API по раскладыванию скажем сайта на разные участки кластера - уже будет выигрыш в производительности не кислый... Может огранизуем какую-то группу и на свободных началах напишем какой-то движок заточенный под Cloud / Farm / Cluster... ? Выслушать бы пользователей которые пользуются движками.... я конечно опыта много имею в администрировании хостингов и всего прочего но с самими движками как понимаете сталкиваюсь весьма опосредованно...... По этому всех тонкостей и деталей не знаю, кто-то писал что в WP например есть модуль который UPLOAD данные складывает на FTP Кажется, это уже продвижение реально.... Ну а если в корень взглянуть, то мне кажется что рынок не готов еще к Cloud так как это должно быть на самом деле, я представил бы себе Cloud в виде некого облака в которое я подключаюсь как клиент и работаю со своими данными, не важно что это за данные,сайт или что-то другое, но все ПО заточено блин под 1 тазик... начинаю повторяться уже.... в общем согласен насчет динамики памяти :D тут спорить нет смысла. А ситуации будут и будут , бесспорно, но хочется же знать их и понимать пути решения, по этому у меня и вызван интерес очень великий, так как сейчас потратить кучу бабла на кластер как бы можно, но есть же те, кто уже запустили и действуют, вот собираю так сказать по клокам информацию.
Тоже как бы в курсе, там описано собственно то же самое, что я пытался применить... tmpfs не удачный пример, по этому с ним тестить не стал в принципе.
dataselectel: Долго читал. Хотелось отвечать, но коллега из Clodo отвечал быстрее. Респект ему как говориться. Romka_Kharkov, Вот скажите мне пожалуйста, что вы пытаетесь доказать? Последний раз, когда на Riw2010 меня начали расспрашивать про модель Хостинга которую предлагаем мы и Clodo, люди преследовали только одну цель - Доказать ее не состоятельность, без права на жизнь. К счастью у них это не вышло. Вы только не обижайтесь, но все же....?
Уважаемый, я не обижаюсь, а тем более , что на обиженных говорят балконы падают, цель которую преследую я не сложно понять, это обучение, стремление знать больше, уметь лучше. Я точно так же как и вы (видимо) технический специалист. Я не пытаюсь доказать несостоятельность вашей схемы, я не пытаюсь доказать ее проблемные моменты которые сводят её существование на нет, я не пытаюсь этого сделать, я вижу людей на форуме, которые хотят что-то пронести в массы (в том числе и ваш Cloud), я хочу понять как это работает и на сколько это жизнеспособно, почему вы вместо того что бы что-то признавать начинаете становиться в контры, как будто все... вот он Ромка рецидивист.... Толерантности что ли недостаточно не знаю даже.
То что в момент первых же тестов записи в ramFS происходит какой-то бок, выявилось случайно, или быть может вы думаете что я специально для этого аккаунт попросил ? Сущий бред, мне есть чем заняться. Я просто имел очень короткий опыт работы физически с Infiniband, а так же последнее время думаю о собственной реализации на базе Infiniband.. Увидел тему, пошло обсуждение...... Быть может мои суждения для вас критика, но увы я то по сути говорю... т.е реальность....
Не судите меня, я объективен, ничего не придумал, хожу, спрашиваю, познаю, учу, передаю дальше...
Другими словами, мне все равно , будете вы сейчас писать на сайте честно что падает тачка при работе с RamFS то ли эта тема потеряется в истории форума.... меня интересует техническая реализация , ее работа, как это продавать - дело сугубо ваше я не претендую тут ни на что...
Переводить в клиентской части solus собственно нечего, там текста на 15кб.
Согласен.
Т.С: Там нет сложного оборота английского, кнопочки типа "Mail" "DNS" "Domain" должны быть интуитивно понятны большему проценту интернет пользователей :)
admad: Все проще. Получили виртуалку с оперативкой по минимуму 1гб + свап на 5гб. Пытаетесь создать рамдиск на 10гб. Вирталка падает при попытке заполнить диск так как диск создать не из чего. Мы масштабируем память по показаниям в /proc/meminfo CommitedAS, а там создание ramfs не учитывается поэтому и память не добавляется. Это словами менеджера, не администратора. Наш админ обещал отписаться поподробнее по этой ситуации.
Ну тогда пусть админ покажет процедуру которая позволит мне занять много в памяти...... Я бы хотел запустить что-то и на рядом в топе увидеть как мои 1.5 GB превратятся в 15 GB :)) на два дня мне это не надо, просто 1 раз увидеть на 5-10 минут вполне достаточно будет.
Между прочим первый раз аналогичная история произошла при создании ramfs в 100mb
ждем комментариев от автора :)
Маловероятно IMHO :)
короткий ответ: входящие соединения устанавливать на адрес сервера который смотрит в канал A
(ну и в dns прописать этот адрес) и сделать default gateway на канал B.
какие bgp, ospf и policy routing? ;)
Что-то не совсем понятная схема, как можно "устанавливать входящие соединения"? Их разве ваша сторона устанавливает???.... она конечно непосредственно принимает участие, но опять же, трафик придет к вам обратно согласно или BGP (если мы говорим о внешнем мире и реальных сетях) или согласно default route у провайдера который собственно и выдал вам ИП адрес... А в случае если Тс говорит вообще про Internal IP так ничего не поможет, надо будет у обоих провайдеров резервировать сеть одну и ту же для таких реализаций.
А зачем? На сервере 2 сетевых интерфейса с двумя независимыми каналами
Трафик будет уходить и приходить через тот сетевой интерфейс, которому соответсвует исходный ip, что прекрасно делается через bind() в php
А вы простите вопрос от ТС-а читали?
Зачем городить BGP или OSPF, если хватит src раутинка + метки пакетов, например - с привязкой по owner?
Допустим исходящий трафик по SRC вы отправите куда хотите тут вопросов нет, а как вы заставите обратную сторону присылать вам через другой маршрут (фактически точку B). В таком случае я понимаю вам понадобиться быть ее администратором в том числе.
Romka_Kharkov добавил 09.12.2010 в 21:35
;8152179']Romka_Kharkov, если прям на сервере, как верно выразился Andreyka, нагородить BGP с weight-ами, метриками и пр., то да такое сделать можно :)
Однако, я смею предположить (и чтобы заодно свести обсуждение к стилю сёрча)), что ТС преследует ложную цель, и что реальную задачу можно решить по-другому и гораздо проще :)
Вполне может быть .... но отрицать возможность асинхронности хождения трафика - смело как минимум :)
BGP (для внешних нужд) думаю может помочь в таком случае или OSPF (для внутренних нужд) ;)
Или че, асинхронное движение пакетов отменили?:)
Romka_Kharkov добавил 09.12.2010 в 20:23
;8150550']роутами можно только указать, чтобы исходящие соединения по-умолчанию устанавливались через интерфейс X, но как только соединение установилось, пакеты в обе стороны пойдут через интерфейс X.
По моему глупость сказали, у меня например два апстрима A и B,
Исходящий трафик я запускаю пусть default роутом через интерфейс апстрима A, и тут же в сторону A по BGP я увеличиваю AS-PATH для этого префикса, да увеличиваю так, что аж +3AS появится в пути (думаю будет достаточно для примера :D), на маршрутизаторе который обслуживает обратную сторону естественно сработает механизм поиска по кротчайшему пути и вернется ко мне на маршрутизатор тот же ответный трафик только через интерфейс апстрима B (естественно в сторону B анонсируется тот же префикс только без увеличения AS-PATH), так как путь через него к моим сетям окажется оптимальней. Вот вам решение в следствии которого трафик к вашим сетям будет двигаться асинхронно через два разных канала, естественно, это нечто похожее на RAID-0 ;)))) 1 из каналов упал и по сути нет интернета, целесообразнее их использовать как дублирующие :)
Доброго времени суток. Самый простой способ занять память:
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
int main (void) {
int n = 0;
char *p;
while (1) {
if ((p = malloc(1<<20)) == NULL) {
printf("malloc failure after %d MiB\n", n);
return 0;
}
memset (p, 0, (1<<20));
printf ("got %d MiB\n", ++n);
}
}
Ок, попробую с доступом что дал ваш товарищ. Схема почти понятная я не особый спец в программировании... Попробуем, почитаем еще.
По поводу ramfs все сложно. Его структура такова, что она не использует оперативную память в чистом виде (как в данном тесте), а использует дисковой кеш. Так как cloud сервис не учитывает кеш и пытается его снизить до предела (иначе Вы потратите всю память под кеш, а Вы же не хотите за это переплачивать.. или хотите? - если да, то я могу скорректировать :)).
Я попробуйю обойти в данном случае ограничение, но только если страницы памяти будут помечены как dirty. Если оно их не пометит таковыми, то увы - использовать сейчас рам диск не выйдет. Пока не будет стабилизирован cleancache в ядре и tmem. Опыты ведутся, но времени на них мало.
Насчет RAM FS я понимаю , но ! опять же креш ядра..... это не совсем то, что ожидалось увидеть реально, пусть бы оно вывалило корку от процесса или написало ошибку, но блин креш ВПС-а из за записи в память это как бы ЫЫЫЫыы.
Если нужна техника идея простая. Мы следим за тем сколько памяти выделенно. Если ее больше чем надо - убавляем. Это больше чем определяется из разницы между всей памятью, текущей свободной, кешем буферами. Если Эта формула дает на выходе число больше определенного снижаем на разницу, но не слишком сильно, дабы не убить систему. Как показали опыты, если оставлять неиспользуемый лимит меньше 100 мегабайт, по крайней мере центос, начинает падать. Рамфс специфичная ситуация, хотя я уверен что таких ситуаций будет много, потому что 99 процентов программ пишутся из расчета, что размер памяти не меняется. Что является архаизмом, так как хотплаг в физический сервер памяти существует уже довольно давно.
Вот тут и беда, я согласен полностью с вами, многие программы просто не рассчитаны на масштабирование, я прекрасно понимаю например как сейчас разделить ресурс частями , видео , аудио, картинки и все прочее, но к сожалению нет движков которые заточены под такие технологии, все как-то узурпировано под 1 тазик физический, это бред.... А так сделать двиг из собственных API по раскладыванию скажем сайта на разные участки кластера - уже будет выигрыш в производительности не кислый... Может огранизуем какую-то группу и на свободных началах напишем какой-то движок заточенный под Cloud / Farm / Cluster... ? Выслушать бы пользователей которые пользуются движками.... я конечно опыта много имею в администрировании хостингов и всего прочего но с самими движками как понимаете сталкиваюсь весьма опосредованно...... По этому всех тонкостей и деталей не знаю, кто-то писал что в WP например есть модуль который UPLOAD данные складывает на FTP Кажется, это уже продвижение реально.... Ну а если в корень взглянуть, то мне кажется что рынок не готов еще к Cloud так как это должно быть на самом деле, я представил бы себе Cloud в виде некого облака в которое я подключаюсь как клиент и работаю со своими данными, не важно что это за данные,сайт или что-то другое, но все ПО заточено блин под 1 тазик... начинаю повторяться уже.... в общем согласен насчет динамики памяти :D тут спорить нет смысла. А ситуации будут и будут , бесспорно, но хочется же знать их и понимать пути решения, по этому у меня и вызван интерес очень великий, так как сейчас потратить кучу бабла на кластер как бы можно, но есть же те, кто уже запустили и действуют, вот собираю так сказать по клокам информацию.
Romka_Kharkov добавил 09.12.2010 в 03:03
Вот. Наш специалист выступил :)
трое на одного ..... BALANCE !!!! ;)
Romka_Kharkov добавил 09.12.2010 в 03:04
Вот это еще хорошо почитать:
http://www.thegeekstuff.com/2008/11/overview-of-ramfs-and-tmpfs-on-linux/
Тоже как бы в курсе, там описано собственно то же самое, что я пытался применить... tmpfs не удачный пример, по этому с ним тестить не стал в принципе.
Долго читал. Хотелось отвечать, но коллега из Clodo отвечал быстрее. Респект ему как говориться.
Romka_Kharkov, Вот скажите мне пожалуйста, что вы пытаетесь доказать?
Последний раз, когда на Riw2010 меня начали расспрашивать про модель Хостинга которую предлагаем мы и Clodo, люди преследовали только одну цель - Доказать ее не состоятельность, без права на жизнь. К счастью у них это не вышло.
Вы только не обижайтесь, но все же....?
Уважаемый, я не обижаюсь, а тем более , что на обиженных говорят балконы падают, цель которую преследую я не сложно понять, это обучение, стремление знать больше, уметь лучше. Я точно так же как и вы (видимо) технический специалист. Я не пытаюсь доказать несостоятельность вашей схемы, я не пытаюсь доказать ее проблемные моменты которые сводят её существование на нет, я не пытаюсь этого сделать, я вижу людей на форуме, которые хотят что-то пронести в массы (в том числе и ваш Cloud), я хочу понять как это работает и на сколько это жизнеспособно, почему вы вместо того что бы что-то признавать начинаете становиться в контры, как будто все... вот он Ромка рецидивист.... Толерантности что ли недостаточно не знаю даже.
То что в момент первых же тестов записи в ramFS происходит какой-то бок, выявилось случайно, или быть может вы думаете что я специально для этого аккаунт попросил ? Сущий бред, мне есть чем заняться. Я просто имел очень короткий опыт работы физически с Infiniband, а так же последнее время думаю о собственной реализации на базе Infiniband.. Увидел тему, пошло обсуждение...... Быть может мои суждения для вас критика, но увы я то по сути говорю... т.е реальность....
Не судите меня, я объективен, ничего не придумал, хожу, спрашиваю, познаю, учу, передаю дальше...
Другими словами, мне все равно , будете вы сейчас писать на сайте честно что падает тачка при работе с RamFS то ли эта тема потеряется в истории форума.... меня интересует техническая реализация , ее работа, как это продавать - дело сугубо ваше я не претендую тут ни на что...
Видимо речь идет о R1 ( http://www.r1soft.com/linux-cdp/cdp-enterprise-edition/vms/ ).
Переводить в клиентской части solus собственно нечего, там текста на 15кб.
Согласен.
Т.С: Там нет сложного оборота английского, кнопочки типа "Mail" "DNS" "Domain" должны быть интуитивно понятны большему проценту интернет пользователей :)
Все проще. Получили виртуалку с оперативкой по минимуму 1гб + свап на 5гб. Пытаетесь создать рамдиск на 10гб. Вирталка падает при попытке заполнить диск так как диск создать не из чего. Мы масштабируем память по показаниям в /proc/meminfo CommitedAS, а там создание ramfs не учитывается поэтому и память не добавляется. Это словами менеджера, не администратора. Наш админ обещал отписаться поподробнее по этой ситуации.
Ну тогда пусть админ покажет процедуру которая позволит мне занять много в памяти...... Я бы хотел запустить что-то и на рядом в топе увидеть как мои 1.5 GB превратятся в 15 GB :)) на два дня мне это не надо, просто 1 раз увидеть на 5-10 минут вполне достаточно будет.
Между прочим первый раз аналогичная история произошла при создании ramfs в 100mb
Почему же неверно? Всё верно, просто по скорости записи в рамдиск можно тоже делать выводы....
Можно, но вывод не получился, в трех случаях тачка ушла в ступор ;))))) И потом в Ребут, crash виден на стадии вывода "last" ...