Создание отказоустойчивого кластера для интернет-магазина (продолжение темы)

тут не соглашусь, что Вы будите делать такое что будет ущерб?

например, было время когда webmoney.ru почти неделю иногда работал пару минут за час, нельзя было не вывести, не пополнить

• если Вам нужно добавить индексы в таблицу, то можно вырубить сервер раз в месяц на 2-6 часов (кстати, если много мощных Slave'ов индексы добавляются быстро)
• если у Вас сложная архитектура таблиц и Вы запускаете скрипт который изменяет данные и может их "похерить", то эти данные нужно зарезервировать в запасную таблицу, в случае не корректности потом опять оригинальные данные вставить/обновить обратно, чтобы всю базу не бэкапить обратно...
• больше идет вставка в таблицах или больше всего выборка?

rtyug добавил 06.09.2011 в 16:07

может стоит интернет магазин и его биллинг (там где заказы с деньгами) поставить на разные сервера :D

(там где магазин(ы) там будет только выборка)

Для заказчика простои сервера даже в течение 10 минут крайне нежелательны.

При выходе из строя основного сервера время может уйти, например, на то чтобы мне доехать до места, где есть компьютер и интернет, разобраться в чем дело, восстановить бекап большой базы и огромного количества файлов из резервной копии, а также изменить запись А в DNS и дождаться обновления DNS.

А хотелось бы, чтобы при выходе из строя одного из серверов кластера система продолжала работать, как ни в чем ни бывало. А я чтобы получил сообщение на электронную почту и спокойно разбирался, в чем дело и почему. Потом чтобы восстановил сервер и опять сделал его составляющим элементом кластера.

Архитектуа системы довольно сложная, там не только MySQL, но еще и MongoDB, используются транзакции и много чего еще. Поэтому делать резервные копии части базы не представляется возможным, а репликацию, конечно, можно сделать. Но хотелось бы еще сопровождение от тех, кто уже имеет опыт в репликации MySQL.

если добавить/изменить A запись и увеличить serial, s2.site.com разве надо долго ждать?

магазин - это картинки и база с выборкой? если так и есть, то тут не помешает поставить магазин и биллинг на разные сервера (на разные кластера)

Ждать придется уж точно больше 10 минут, и еще не у всех пользователей DNS обновится одновременно. И гигабайты бекапа восстанавливаются далеко не мгновенно.

Магазин, про который я говорю, это очень сложный комплекс программ с интегрированной системой ERP (именно ERP - системой планирования ресурсов предприятия), а не только CRM и CMS, системой складского учета, документооборотом, поддержкой логистики, статистики и так далее и так до бесконечности.

Очень большой и сложный проект, сложность витрины составляет менее десятой доли процента общей сложности. Поэтому мне так нравится решение от IBM, когда при создании отказоустойчивого решения в архитектуру проекта и его реализацию не нужно вносить никаких изменений. Но вот стоимость...

Вот не неттопах точно не стоит. У них всё не так как у настоящих серверов, поэтому любые цифры, которые получите, смысла иметь не будут (процессоры слабые и ущербные, диски 5400 и со слабыми контроллерами, сетевых интерфейсов больше двух не бывает, и так далее). А вот функционал на виртуалках проще отлаживать - приходится много конфигураций проверять.

Хотя я себе и купил неттоп. Шумит сильно... за те же деньги я мог бы купить несколько древних компьютеров с лучшими характеристиками.

И всё же непонятен вопрос со стоимостью. Если есть много денег - то почему бы ту же vmware не поставить в режиме отказоустойчивости, или ещё что-то подобное.

Мне на первом этапе нужны не столько цифры, сколько научиться создавать и администрировать кластер Линукса. Поэтому и подумал про неттопы, а то обычные мыльницы очень сильно жужжат. Но с неттопами боюсь нарваться на несовместимость по драйверам.

А по поводу денег - их бывает мало или очень мало)

Заказчик может позволить себе купить несколько серверов, и, возможно, даже дисковую систему с оптическим интерфейсом, но речь не идет о крупных инвестициях. Это просто интернет-магазин, там нет бешеных денег.

Вообще обычно когда спрашиваешь про отказоустойчивость, многие говорят, что надо. А когда называешь цены, обычно говорят что ну ладно, подумаешь, пусть денек сервер и постоит) Поэтому нужно недорогое, но надежное решение, как бы смешно это не звучало.

"дисковую систему с оптическим интерфейсом" - это уже расходы на уровне десятков килобаксов только на систему хранения, может быть тогда стоит озвучить бюджет? Ведь думать о кластере за 10К и за 100К - это разные немного вещи.

слишком долго и много теоретизируете.

о движке сайта вобще ни слова.

начните с простого, усложнить всегда успеете.

пока вы раздумываете как сделать конфетку, конкуренты убегут настолько далеко, что даже с HA-кластерами будет не догнать.

Заказчик не должен озвучивать бюджет, и я не могу от него этого требовать. Обычно исполнитель предлагает решение и сообщает его стоимость, а заказчик выбирает исполнителя, подходящего по бюджету.

Сейчас меня интересуют решения с кластером по минимальным ценам.

Александр Фролов добавил 06.09.2011 в 19:15

Что касается "движка", то это очень сложная разработка, наша собственная (склад, логистика, документооборот, статистика, учет продаж и т.п.). Там есть nginx, apache, mysql, memcached, mondodb, sphinx, т.е. много всего. Проект высоконагруженный, используется кеширование и разные технологии ускорения.

Требуется кластеризация MySQL, и с этом у меня самые большие сомнения - где найти специалистов с опытом.

Срочности особой нет, т.к. все работает как раз в простом варианте (ну если его можно назвать простым) на одном сервере, и запасной сервер готовится. А вот подумать прежде чем предлагать заказчику заплатить круглую сумму и выбрать оптимальное, проверенное решение, было бы не плохо. Поэтому я и ищу наиболее подходящее решение, а также исполнителей с опытом реализации подобных проектов.

Так вот минимальные цены и непонятны.

Для одного уровня - это 1к $, а для другого 10к+. Сложно что-то предлагать...