hacccker

Рейтинг
115
Регистрация
03.02.2010
myhand:
Ну значит поняли абсолютно неправильно. Вам не нужно решать любой вопрос за 1 час. Реально это нужно в очень редких случаях. И это действительно делается в нормальном ДЦ. Если саппорту влом дойти до Вашего сервера за 15 минут и нажать кнопку ребут - просто не жадничайте деньги. Арендуйте сервер там, где подобное делают быстро.

Подумайте - ведь реально от ДЦ мало что требуется. Ребут по питанию. Ну диски в серверах поменять (даже не заменить!). Добавите что-то еще?

С ребутом проблем нет, именно ребут сделать я могу в любое время сам, даже если сервер не отвечает по ssh. Я просто хочу сказать, что реально час простоя (а то и больше) — это просто банальная вещь, вроде плановой смены HDD. Если что сломается посерьезнее, или есть попадаешь в пересменку, ну или к конце концов, я или мой "штатный" админ не локализирован проблему вовремя — и время простоя будет далеко не час. Ну например 3 часа, или 6. А предлагаю простой и не дорогой способ решить эту проблему — сделать не большой кластер, вот и всё. Ну как бы вам попроще объяснить... вот в двери у вас в квартире сколько замков? Наверно ж два минимум? А дверей сколько? Тоже ж наверное не одна (подъезд, тамбур, квартира...) ну и тут как-то похожая ситуация :)

Поэтому почему моя идея не разумна, я пока честно говоря так и не понял.

И ещё, всётаки прошу обратить внимание, я изначально к кластеру приписывал функции и балансировки нагрузки. Ну два коня побольше потянут чем один... Чем же вам так кластер не нравится?

myhand:
Я пытался Вам "намекнуть", что имело бы смысл сперва поставить реальную задачу, которую Вы решаете. Нормальный ТЗ, т.е. отталкиваться от реальных проблем, которые сейчас приводят у Вас к такому-то даунтайму. А потом - попробовать найти решение. То же самое пытались донести до Вас многие люди в треде. Как об стенку...

Да, точно что как об стенку... С одной стороны ТЗ конечно бы не помешало, можно было уделить время и подробно расписать, сколько система должна выдерживать нагрузки, какой должен быть максимальный даунтайм, как и на сколько система должна масштабироваться — это всё понятно... Но с другой стороны, я давно понял вашу позицию — выбирайте нормальный ДЦ в котором любой вопрос решат за 1 час. Я с этой позицией не согласен, поэтому можете считать это моей прихотью. Да, хочу клястер.

Но всё же, если вас интересуют какие-то конкретные исходные данные, которые не понятны из этого топика, и которые я должен бы был включить в ТЗ — вы можете уточнить эта данные у меня прямо здесь. Но вместо конкретных вопросов ко мне относительно темы, я получил почти 10 страниц ваших персональных убеждений.

myhand:

Мне тоже, т.к. разумность ТС явно под большим вопросом. "Хачу клястер!" - и все тут...

Я изначально не позиционировал себя как разбирающийся в кластере. И вполне шел, и иду на конструктивный диалог, относительно смежных тем. Но вы просто пытайтесь выглядеть умнее всех, доказывая мою не разумность, и не только мою.

hacccker добавил 06.12.2010 в 23:20

Andreyka:
Доступно. Сделать вполне реально.

А если сделать по подобной схеме и веб сервер и всю файловую систему? Грубо говоря не заморачиваться с балансировкой, я и сам могу ручками сначала разрешить в панели добавление аккаунтов на один сервер, а потом на второй, ну и переключать это как-то по очереди по мере наполнения.

И второй вопрос. 4-мя серверами пока не располагаю. Как на счет 2 или 3? Я думаю по предложенной мной схеме в принципе без разницы?

hacccker добавил 06.12.2010 в 23:47

Бармалейкин:
Не без интереса почитал тему.

Позволю себе чуть отойти от технической стороны, но не от вопроса. ИМХО для шаред хостинга кластер это как жигули обслуживать в сервисном центре BMW. Если проект крупный - он как минимум на VDS сидит, а скорее всего на своем сервере. Посещаемость, а соответственно скорость изменения информации у обычного сайта на шареде невелики. У кого много - тех перетаскивают на более дорогие тарифы и проч. А для небольшого сайта актуальность даже сутки - не так уж и безнадежно потерянные данные. Да, клиенты поворчат - особенно владельцы форумов, но большая часть вообще может не заметить проблемы с откатом данных на несколько часов или даже сутки. Здесь (опять же ИМХО) проще и выгоднее держать резерв по оборудованию (или по его загрузке) и регулярные резервные копии. Из которых просто восстанавливать данные, если что то совсем уж упало и сдохло. При текущих ценах на шаред выйти с ценой выше в 2 раза, мотивируя это тем, что у нас кластер...Мне как клиенту, который далек от ТИ тематики вообще пофигу, это не мои проблемы. Зато я ценю, когда мне без проблем отдают бекап за месяц назад, за вчера и предыдущую неделю. И при таком раскладе я прощу если сайт раз в год будет недоступен сутки по техническим проблемам. Но когда недоступен мой бэкап - я в ярости. Мониторинг железа, чтение логов, замена оборудования не дожидаясь его отказа - это спасет от многих проблем. Ну или виртуализация, без сложных кластерных схем. Ведь это продукт не эксклюзивный, он относительно недорогой, и решения в нем должны быть такими же.

Вот и товарищ V(o)ViK, и ещё некоторые в этой теме, считают, что кластер это что-то невероятное из области нанотехнологий, типа какой-то супер-компьютер или сеть компьютеров стоимость которых невероятно большая. Считают, что создавать и обслуживать кластер из нескольких серверов, может только опытный штатный админ с окладом в $4K/мес. Ну отсюда вытекает, что проще просто делать бекапы и не заморачиваться вообще.

Я же считаю, что не большой кластер — просто дополнительный не большой плюсик, лишним он не будет, а настроить все это дело можно за абсолютно адекватные деньги. И поддерживать то не большое хозяйство я вероятно смогу и сам, а если и будут какие-то вопросы, мне будет к кому обратиться за консультацией и помощью.

Ну и ещё некоторые мои убеждение, которые возможно противоречат вашим, но я бы не хотел ещё об этом спорить. Просто выскажу их.

- VDS обычно медленее шаред хостинга, поэтому даже совсем чуть-чуть крупные проекты не сидят на VDS. У меня есть клиенты, которые ушли с VDS ко мне на шаред. Им было выгодней заплатить за "повышенный" тариф шареда, чем жестко ограничиваться ресурсами VDS, за те же деньги. Ну и плюс вопросы администрирования играют роль. VDS-кой тоже нужно уметь управлять.

- Я не планирую выйти с ценой в 2 раза больше. Да и потом, ну сейчас и так разброс цен на рынке шаред хостинга, в два раза и более . Ничего страшного, это рынок :)

- Я там выше написал про бекап, все как-то восприняти в штыки... Попробую прояснить ситуацию.

1) Бекап это на самом деле вещь абстрактная, всмысле по договору я просто должен гарантировать сохранность данных. Если конечно не указанно, что гарантирую создание бекапов по такому-то графику, храню их столько то времени и предоставляю к ним доступ. Но такого как правило никто не пишет, пишут просто, что гарантируют сохранность данных. Каким способом это достигается — личное дело каждого. Кто-то сливает периодически на отдельную машину, кто-то использует RAID, кто-то использует и то и другое. Некоторые используют ещё и кластер ко всему этому, т.е. в любом случае происходит многократное дублирование информации на разных физических носителях.

2) Если бы многим клиентам нужен бы был доступ к бекапам разной давности, я бы скорее всего это предоставил. Но в большинстве случае, клиентов беспокоить сохранность данных, а не бекап как таковой.

3) Бекап самый простой вопрос в плане реализации. Ну если всем прям нужны будут бекапы, ну так уж и быть — будут бекапы. Я совсем не имел ввиду что бекапы это плохо. И возможно в будущем я пересмотрю свою точку зрения, и сделаю бекапы, как и было у меня раньше.

myhand, что вы мне пытайтесь доказать? Что кластер мне не нужен, т.к. быстрее сменить оборудование? Мне уже честно говоря надоело из пустого в порожнее...

Andreyka, на счет MySQL у меня такая идея...

Репликация + Балансировка. Объясню...

Два сервера работают с разными наборами БД, ну такая себе балансировка (30 БД на одном сервере и 30 на другом, все работают постоянно) и каждый из серверов синхронизируется с другим, ну всмысле реплицируется только другая группа. Если один сервер упал, то другой берёт вторую группу БД на себя (из своей копии которая отстаёт во времени от оригинальной)

Не знаю доступно ли объяснил :)

Такой вариант возможен? Я думаю при гигабитной сетке между серверами отставание будет не сильно большое. Имхо в случае краха сервера, лучше вернуться на 5-10 минут назад, чем лежать мёртво...

myhand:
Как правило есть пункт 1) как долго хранится информация абонента 2) технические стандарты предоставления услуг (грубо говоря - как часто делаются бекапы, как долго хранятся и как быстро могут быть предоставлены).

Мне неинтересно заниматься рекламой. Возьмите (ткните пальцем) любую крупную хостинговую компанию, имеющую лицензию на оказание телематических услуг. Посмотрите оферту и прилагаемые к ней документы - там скорее всего будут варианты пунктов 1)-2).

AGAVA подойдет? В договоре в основном "мы ничего не гарантируем", "мы не обязаны", "мы не несет ответственность за" итд... И это правильные договоры, с позиции компании :)

myhand:

Если у Вас стойка и более - Вы просто не будете заморачиваться до "без SLA".

А ну извините, у меня не стойка, и не SLA и вообще я из деревни :)

myhand:

Вообще, интересно рассмотреть конкретные примеры "проблем" и варианты Ваших решений (без клястера). Ваша оценка возможного даунтайма.

Я вам выше привел пример, и рассказал какой был даунтайм, т.е. это не оценка возможного, а констатация факта. А вы мне опять про теорию устранения любой проблемы за 1 час.

myhand:

Ув. hacccker, ежели у Вас стоимость будет расти линейно - разумно такую генияльную идею нафиг сразу выкинуть, верно? Я, конечно, допускаю, что Вы оговорились.

Та почему.. какой вы видели самый дешевый хостинг? 2$? 1? Ну вот представьте, было 2$, стало 4$. Размыть можно тем, что дать больше места или ещё чего-то... Ничего ж страшного что цена стала не 2, а 4$ Вот вам пример линейного роста цены. Аналогично можно на прибыль пересмотреть, кто-то хочет 100% накрутки, а кому-то и 50% достаточно...

И ещё, пишите пожалуйста без ваших "Я", а то "клястер", "генияльную" мне режет глаз. Или у вас не русский акцент?

hacccker добавил 06.12.2010 в 01:33

Zero-xack:
Спор рождает истину :)

Согласен, поэтому покачаемся тут ещё... )

Pilat:
Это опять принципиально не то о чём я написал... В моём случае Вы теряете 30% ресурсов по памяти и по диску, но при этом все три сервера работают всё время и процессоры работают на 100% - то есть пользователи счастливы так как у них всё летает. Ваш случай - 50% мощностей простаивает. Мой случай - простой в реализации, но чреват потерями в виде устаревших бэкапов, Ваш вариант этого лишён, но он опирается на то что DRBD сработает обязательно. Если не сработает - Вы получите вообще бог знает что (например одна из сетевых карт полетит - деградация скорости приведёт весь кластер в нерабочее состояние). Поддержка DRBD в рабочем состоянии стоит не 0 рублей - например http://www.linbit.com/en/products-services/drbd-support/. Узнать что у Вас нет поддержки, даже если какой-то суперадмин её пообещает, Вы сможете только после катастрофы, когда автоматически всё не восстановится.

Меня консультировали по связке DRDB+Heartbeat+LVS, в этом случае 50% мощностей не простаивает. Если откажет сетевой адаптер, сервер выпадет из клястера, и вся нагрузка перейдет на оставшийся. Ну так объясняли :)

hacccker добавил 06.12.2010 в 01:20

Zero-xack:
Я не админ, но с удовольствием слежу за этой темой :)
Неужели не подойдёт простое зеркалирование? В случае смерти 1ого сервера идёт переключение на 2ой. Мб бред, поправьте. Но вроде пару лет назад читал о таком, реализовывали. Правда и цена х2 :)
ТС, чего к Андею не хотите обратиться? Читая его посты, у меня сложилось мнение что он грамотный админ.

Да тема интересная, жаль некоторые сочли её за место выяснения "кто более красноглазый админ", или "ТС ничего не понимает — ему клястер не нужен" :)

Когда простаивает второй сервер это не есть гуд, поэтому мы тут дальше и дискуссируем. К Андрею возможно обращусь, пока изучаю ещё варианты предложенные. Кстати если бы Андрей что-то предложил... :)

myhand:
Любопытно было бы взглянуть на Вашу оферту...

Что именно вам там любопытно? Не в одном договоре публичной оферты я ещё не видел пункта про резервные копии 🍿

myhand:

Ну дак это персонально Ваши проблемы. Так выбрали ДЦ. И размещаетсь там, скорее всего через вторые руки, как минимум.

Понимайте, без SLA договора, и Ваш ДЦ который выбрали Вы, может однажды стать Вашей персональной проблемой.

myhand:
И первое и второе.

Я допускаю, что стоимость может возрасти линейно, в зависимости от количества серверов в кластере.

hacccker добавил 05.12.2010 в 00:48

Pilat:
Вы не совсем меня правильно поняли. Я не имел ввиду бэкап в обычном смысле - это совершенно отдельное действие и к кластеру отношения не имеет.

Вы хотите получить отказоустойчивость. Это значит, что какие-то ресурсы выделяются под обеспечение избыточности. То есть у Вас есть три сервера, но на них используется 60% ресурсов, остальные резервируются в предположении что один из серверов сляжет и сайты переедут на оставшиеся. Соответственно каждый сайт должен иметь копию базы и файлов на другом сервере. Такие копии можно сделать для mysql блокированием таблиц и rsync (хотя тут надо не забыть проверять не только размер и даты), для файлов тоже rsync но в ускоренном варианте.

Я не уверен, что такая схема сработает для очень больших объёмов достаточно быстро, но во всяком случае, в отличии от бэкапа, перенос сайта на резервный сервер будет происходить очень быстро - время уйдёт на копирование конфигурации и добавление виртуальных хостов в апач. Бэкапить , кстати, возможно будет проще с резервных копий - они не задействованы и их не нужно дополнительно блокировать.

Схема не совсем реализует отказоустойчивый кластер, она не делает мгновенной копии всего сервера, скорее это продвинутый бэкап. Но скорость восстановления после падения будет очень большой.

Примерно так и планируется.. В случае с DRDB как раз слейм постоянно синхронизируется с мастером. Если мастер упал, на слейве ставятся такие же настройки как были на мастере, и слейв становится мастером... Это несомненно решение, и возможно к нему и буду склонятся. Пока просто интересно рассмотреть ещё варианты, я имею ввиду про балансировку нагрузки на лету.

myhand:

Извините, бекап и райд предназначены для (мягко говоря) - разных целей. Почти перпендикулярных. Вы не предоставляете пользователям вирт.хостинга штатно услугу бекапа (райд это не заменит)?

Предоставляю, но не делаю бекапа всех пользовательских данных автоматом.

myhand:
А есть другие? Ну не то, чтобы личный ДЦ. Но добраться до сервера саппорты могут за фиксированное время.

Ещё раз: если саппорт хостера === инженеры в ДЦ. Если у вас это именно так — прекрасно. Я например, не имею лично доступа к своему оборудованию. Оно далеко...

myhand:

Да не, я работал&работаю у таких :) Да и в "чужом" ДЦ при размещении таких проектов (а это порядка стойки) - никаких проблем с реакцией инженеров не возникает. Кому охота терять "толстого" клиента?

Что значит проблем? У меня тоже проблем не возникает, но с момента реакции до устранения проблемы проходит какое-то время.. а там в ДЦ у инженеров свой график.. решал вопрос, попал в пересменку, пришел другой инженер — объясняешь ему всё сначала.. время идет... Аналогично плановые работы инженеры в не рабочее время не выполняют, тот же винт сменить — только в рабочее время... Если ДЦ далеко сюда же прибавляем сдвиг в часовом поясе... Фантастику рассказываю? Нет, это реальность. А спич о том, что "саппорт за час решает любую проблему" — это как раз сказка...

myhand:

Дорого. Лень перечислять заново все остальное, что было всказано еще по этому поводу мной и не мной.

Дорого организация или дорого потом услуга для конечно пользователя?

myhand:

Делать какие-либо количественные оценки - отнюдь никогда не глупо. Глупо их не делать. Математика и экономика пока никому еще не навредили ;)

Ну так и оцените по количеству серверов в кластере, вероятность отказа кластера 🍿 А я поулыбаюсь, и расскажу что все эти расчеты бред, потому что.... и тысячу причин найду :)

myhand:
Чем Вы намажете увеличение стоимости вдвое, какой мифической "надежностью"? У нормального хостера простой сервера - порядка часа (и менее!) в год.

Верю, если у хостера как раз кластер. Или если не кластер (один сервер), тогда хостер владеет своим личным ДЦ, личным персоналом итд... Много ли у нас таких? 🍿 Не много. Если вы арендуйте сервер на площадке любого ДЦ, и не подписывали никакой SLA договор, в случае поломки простой будет ровно столько, сколько захочется персоналу этого ДЦ. Такое ощущение, что вы лично не сталкивались, а начитались маркетинговой шелухи каких-то "нормальных хостеров", которые обещают простоя не более часа в год :D

myhand:

Кластер - получится. Хостинг - нет. Технически, хостинг - это и есть в первую очередь система управления хостингом. СУХ в просторечии.

Значит в этой теме мы обсуждаем кластер, а не хостинг. Меня спросили для чего мне нужен кластер, я ответил что для хостинга. Теперь меня убеждают что не получится хостинг. Хостинг уже получился и успешно работает. Цель — развиваться дальше, повышать надёжность и производительность. Если вам нечего рассказать про кластер, не нужно мне рассказывать про хостинг. :D

myhand:

Потому, что с реальным хостингом Вы не сталкивались. Пара серверов это не хостинг и переносить Ваши хотелки по подобному опыту на что-то более масштабное - глупо.

Хотелка вполне адекватная. А вы никаких аргументов кроме как "глупо" привести не можете.

myhand:

Ну а "вероятность" о которой Вы рассуждаете - весьма неаддитивно ведет себя в этом случае. И уж если речь о вероятности, что "ляжет все" - дык она как раз больше в кластерном варианте, а вовсе не наоборот.

А давайте допустим, что Вы действительно знакомы с теорвером и способны оценить вероятности. Вот Ваш будущий клиент спрашивает: а насколько меньше "чем когда используется один"? Что Вы ему ответите?


Слышите "клястер" - Вам кажется надежность "повалила"? На самом деле это даже близко не синонимы. Увы, диагноз bugsmoran подтвердился чуть менее чем полностью. "Хочу зашибись! Клястер!" Зачем - а хз.

Это вы опять пытайтесь склонить в сторону "у нормального хостера только 1 час простой в год". И поэтому кластер не нужен. Это Бред. Скорее всего вы понятия не имейте как организованы нормальные хостеры.

Оценивать вероятность того что всё сляжет, по количество серверов в кластере глупо, поэтому я не буду это делать. Но время простоя кластер может уменьшить.

hacccker добавил 04.12.2010 в 22:20

netwind:

так ведь второй сервер будет простаивать :) ну не совсем - он будет занят работой по синхронизации, но запросы пользователей обрабатывать не будет.

Я понимаю, а хочется чтобы принимал, т.е. балансировал нагрузку.

hacccker добавил 04.12.2010 в 22:22

Andreyka:

Выше ты писал, что такое тебе не очень подходит. Определяйся 🤣

Вы извините если я где-то ввёл в заблуждение :) Ну переспросите меня пару раз 😎

hacccker добавил 04.12.2010 в 22:27

Pilat:
Мне кажется, что на рынке хостинга дикая конкуренция, поэтому хостинг на одном-двух серверах вообще нет смысла проектировать. Следовательно, надо либо большие деньги привлекать, либо просто настроить бэкап и делать его почаще на резервный компьютер.

Конкуренция большая, да. Но вкидывать сразу большие деньги, ещё более глупо, чем проектировать хостинг на одном-двух серверах. И что значит вообще не смысла? Вы видите, что тут масса людей меня убеждают что кластер не нужен, а значит один клиент сидит на одном сервере. В таком случае никакой разницы нет, сколько серверов 1 или 100. Все зависит от количества клиентов.

Делали мы бэкап на отдельный.. нету большого смысла, проще использовать RAID. Куча времени и ресурсов уходило на архивирование и перекачку данных на другой компьютер.

Такс... пообщался я тут ещё с умными людьми, есть предложение

DRDB + heartbeat

Если heartbeat получится использовать как "Поглощающая (takeover) конфигурация", то чем это не решение?

hacccker добавил 04.12.2010 в 04:59

V(o)ViK:
hacccker, бюджет того что Вы хотите начинается от $100K.
Это должно включать разработку простейшего биллинга, административной и клиентской панели управления.
Для того чтобы вбухать столько денег в шаред хостинг сейчас нужно очень четко представлять что делаете.
Судя по этому, что вы пишите, вы все еще плохо представляете что такое шаред хостинг. Сколько бы вы ни сделали резервирования и кластеров, все равно есть вероятность что все ляжет. А заявления: "у нас есть кластер, а у них нет, переносите все свои сайты к нам", вызывают улыбку :)

Да что ж вы к биллингу и панели привязались?:( Это имеет посредственное отношение к кластеру. Если вам это так режет глаза, в данном контексте можно считать — панели нет вообще. Или по вашему, без панели, кластер не получится? :)

За $100K я бы рассматривал какие-то программно-аппаратные решения кластера от того же Oracle. Причем мне бы все оборудование привезли куда, включили и настроили. Но пока что таких денег нет :)

Вероятность того что всё ляжет конечно есть, но она определенно ниже, чем когда используется один сервер. Или я не прав? Не очень понимаю, почему это вызывает улыбку.

hacccker добавил 04.12.2010 в 05:03

iamsens:
дайте хоть один пример, интересно

Вводите что-то вроде "shared hosting cluster" и жмите Мне повезёт 🍿

их полно...

hacccker добавил 04.12.2010 в 05:07

bugsmoran:
Дело не в костылях, слово костыли будут уже на уровне инженеров, а не на уровне тех, кто принимает стратегические решения.

"виртуального хостинга, который будет отличаться надёжностью" - по сути единственная что-то значащая фраза здесь. Но она не достаточно сформулирована. Нужно более точно. Эта фраза ушла не очень далеко от фразы "сделай мне офигенно, чтоб работало!".
Уточните...

Я как раз в данном случае принимаю стратегическое решение. Но углубляюсь на уровень инженеров, чтобы выбрать правильного стратегическое решение.

>Нужно более точно

Если вы забыли, о чем мы тут говорим, я могу напомнить: мы говорим о кластере. Значит под фразой "виртуальный хостинг, который отличается надёжностью" — я имел ввиду хостинг на кластерной архитектуре.

Всего: 360