Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 06.09.2011, 14:50   #11
Andreyka
Настройщик серверов
 
Аватар для Andreyka
 
Регистрация: 19.02.2005
Адрес: Odessa
Сообщений: 12,726
Репутация: 391399
Отправить сообщение для Andreyka с помощью ICQ Отправить сообщение для Andreyka с помощью AIM Отправить сообщение для Andreyka с помощью MSN Отправить сообщение для Andreyka с помощью Yahoo Отправить сообщение для Andreyka с помощью Skype™ Send Message via Jabber to Andreyka
Социальные сети Профиль на Хабрахабре

По умолчанию

Укажите бюджет на все это безобразие. На создание и поддержку.
Кроме того я вижу смысл сделать hp+ha кластер из четырех юнитов.

Andreyka добавил 06.09.2011 в 15:00
Цитата:
Сообщение от Александр Фролов

Да я верю, что надежный сервер повысит надежность, но что будет, если мне, например, нужно забрать его на профилактику? Что если даже 10-минутный простой приведет к возникновению ущерба?

Кроме того, я верю, что даже самое надежное железо выходит из строя или может быть случайно испорчено, например, отключено от электропитания по ошибке, в результате чего будет повреждена файловая система и при перезагрузке он не поднимется. Всякое бывает..
Кстати, MongoDb плохо реагирует на аварийное завершение.

Я верю, что надежный кластер стоит хороших денег, но мне нужно подобрать подходящую архитектуру и оценить решение.

А пока я ставлю второй резервный сервер, но время простоя при ручном восстановлении данных из бекапов может составить часы.
А, так нужно решение, а не реализация? У меня есть несколько наработок, свзязанных с электронной коммерцией. Если есть желание - обращайтесь.
__________________
Взлом шифрованной файловой системы LUKS - реальность!

Последний раз редактировалось Andreyka; 06.09.2011 в 15:00.. Причина: Добавлено сообщение
Andreyka вне форума   Ответить с цитированием

Реклама
Старый 06.09.2011, 15:55   #12
rtyug
Диагноз: синдром добра
 
Аватар для rtyug
 
Регистрация: 13.05.2009
Адрес: %&$
Сообщений: 1,999
Репутация: -61326
Социальные сети Страница в Одноклассниках Профиль в ВКонтакте Профиль на Хабрахабре Профиль в LinkedIn Аккаунт в Telegram

По умолчанию Re: Создание отказоустойчивого кластера для интернет-магазина (продолжение темы)

Цитата:
Сообщение от Александр Фролов Посмотреть сообщение
Да я верю, что надежный сервер повысит надежность, но что будет, если мне, например, нужно забрать его на профилактику? Что если даже 10-минутный простой приведет к возникновению ущерба?
тут не соглашусь, что Вы будите делать такое что будет ущерб?

например, было время когда webmoney.ru почти неделю иногда работал пару минут за час, нельзя было не вывести, не пополнить
  • если Вам нужно добавить индексы в таблицу, то можно вырубить сервер раз в месяц на 2-6 часов (кстати, если много мощных Slave'ов индексы добавляются быстро)
  • если у Вас сложная архитектура таблиц и Вы запускаете скрипт который изменяет данные и может их "похерить", то эти данные нужно зарезервировать в запасную таблицу, в случае не корректности потом опять оригинальные данные вставить/обновить обратно, чтобы всю базу не бэкапить обратно...
  • больше идет вставка в таблицах или больше всего выборка?
    если вставка не критичная, то почему нельзя просто обычным образом синхронизировать с одно сервер на другой? в случае если один сервер отвалиться, то включить другой?

rtyug добавил 06.09.2011 в 16:07
может стоит интернет магазин и его биллинг (там где заказы с деньгами) поставить на разные сервера
(там где магазин(ы) там будет только выборка)

Последний раз редактировалось rtyug; 06.09.2011 в 16:52.. Причина: Добавлено сообщение
rtyug вне форума   Ответить с цитированием
Старый 06.09.2011, 16:59   #13
Александр Фролов
Кандидат наук
 
Регистрация: 27.12.2007
Адрес: Москва
Сообщений: 374
Репутация: 9830
Социальные сети Профиль на Хабрахабре

ТопикСтартер Re: Создание отказоустойчивого кластера для интернет-магазина (продолжение темы)

Цитата:
Сообщение от rtyug Посмотреть сообщение
тут не соглашусь, что Вы будите делать такое что будет ущерб?

например, было время когда webmoney.ru почти неделю иногда работал пару минут за час, нельзя было не вывести, не пополнить
  • если Вам нужно добавить индексы в таблицу, то можно вырубить сервер раз в месяц на 2-6 часов (кстати, если много мощных Slave'ов индексы добавляются быстро)
  • если у Вас сложная архитектура таблиц и Вы запускаете скрипт который изменяет данные и может их "похерить", то эти данные нужно зарезервировать в запасную таблицу, в случае не корректности потом опять оригинальные данные вставить/обновить обратно, чтобы всю базу не бэкапить обратно...
  • больше идет вставка в таблицах или больше всего выборка?
    если вставка не критичная, то почему нельзя просто обычным образом синхронизировать с одно сервер на другой? в случае если один сервер отвалиться, то включить другой?

rtyug добавил 06.09.2011 в 16:07
может стоит интернет магазин и его биллинг (там где заказы с деньгами) поставить на разные сервера
(там где магазин(ы) там будет только выборка)
Для заказчика простои сервера даже в течение 10 минут крайне нежелательны.
При выходе из строя основного сервера время может уйти, например, на то чтобы мне доехать до места, где есть компьютер и интернет, разобраться в чем дело, восстановить бекап большой базы и огромного количества файлов из резервной копии, а также изменить запись А в DNS и дождаться обновления DNS.

А хотелось бы, чтобы при выходе из строя одного из серверов кластера система продолжала работать, как ни в чем ни бывало. А я чтобы получил сообщение на электронную почту и спокойно разбирался, в чем дело и почему. Потом чтобы восстановил сервер и опять сделал его составляющим элементом кластера.

Архитектуа системы довольно сложная, там не только MySQL, но еще и MongoDB, используются транзакции и много чего еще. Поэтому делать резервные копии части базы не представляется возможным, а репликацию, конечно, можно сделать. Но хотелось бы еще сопровождение от тех, кто уже имеет опыт в репликации MySQL.
Александр Фролов вне форума   Ответить с цитированием
Старый 06.09.2011, 17:26   #14
rtyug
Диагноз: синдром добра
 
Аватар для rtyug
 
Регистрация: 13.05.2009
Адрес: %&$
Сообщений: 1,999
Репутация: -61326
Социальные сети Страница в Одноклассниках Профиль в ВКонтакте Профиль на Хабрахабре Профиль в LinkedIn Аккаунт в Telegram

По умолчанию Re: Создание отказоустойчивого кластера для интернет-магазина (продолжение темы)

Цитата:
Сообщение от Александр Фролов Посмотреть сообщение
а также изменить запись А в DNS и дождаться обновления DNS.
если добавить/изменить A запись и увеличить serial, s2.site.com разве надо долго ждать?
магазин - это картинки и база с выборкой? если так и есть, то тут не помешает поставить магазин и биллинг на разные сервера (на разные кластера)
rtyug вне форума   Ответить с цитированием
Старый 06.09.2011, 17:35   #15
Александр Фролов
Кандидат наук
 
Регистрация: 27.12.2007
Адрес: Москва
Сообщений: 374
Репутация: 9830
Социальные сети Профиль на Хабрахабре

ТопикСтартер Re: Создание отказоустойчивого кластера для интернет-магазина (продолжение темы)

Цитата:
Сообщение от rtyug Посмотреть сообщение
если добавить/изменить A запись и увеличить serial, s2.site.com разве надо долго ждать?
магазин - это картинки и база с выборкой? если так и есть, то тут не помешает поставить магазин и биллинг на разные сервера (на разные кластера)
Ждать придется уж точно больше 10 минут, и еще не у всех пользователей DNS обновится одновременно. И гигабайты бекапа восстанавливаются далеко не мгновенно.

Магазин, про который я говорю, это очень сложный комплекс программ с интегрированной системой ERP (именно ERP - системой планирования ресурсов предприятия), а не только CRM и CMS, системой складского учета, документооборотом, поддержкой логистики, статистики и так далее и так до бесконечности.

Очень большой и сложный проект, сложность витрины составляет менее десятой доли процента общей сложности. Поэтому мне так нравится решение от IBM, когда при создании отказоустойчивого решения в архитектуру проекта и его реализацию не нужно вносить никаких изменений. Но вот стоимость...
Александр Фролов вне форума   Ответить с цитированием
Старый 06.09.2011, 17:37   #16
Pilat
Академик
 
Регистрация: 08.03.2007
Сообщений: 2,914
Репутация: 88922
Отправить сообщение для Pilat с помощью ICQ Отправить сообщение для Pilat с помощью Skype™

По умолчанию Re: Создание отказоустойчивого кластера для интернет-магазина (продолжение темы)

Цитата:
Сообщение от Александр Фролов Посмотреть сообщение
Вообще я думал купить парочку неттопов, воткнуть их в свич и установить на все это Scientific Linux в кластере, апач и MySQL. Другие сервисы я могу отлаживать на виртуальных машинах, работающих на WmWare, сервер уже есть. А вот балансировку нагрузки на виртуалках даже и не знаю, стоит ли смотреть.
Вот не неттопах точно не стоит. У них всё не так как у настоящих серверов, поэтому любые цифры, которые получите, смысла иметь не будут (процессоры слабые и ущербные, диски 5400 и со слабыми контроллерами, сетевых интерфейсов больше двух не бывает, и так далее). А вот функционал на виртуалках проще отлаживать - приходится много конфигураций проверять.
Хотя я себе и купил неттоп. Шумит сильно... за те же деньги я мог бы купить несколько древних компьютеров с лучшими характеристиками.

И всё же непонятен вопрос со стоимостью. Если есть много денег - то почему бы ту же vmware не поставить в режиме отказоустойчивости, или ещё что-то подобное.
Pilat вне форума   Ответить с цитированием
Старый 06.09.2011, 17:44   #17
Александр Фролов
Кандидат наук
 
Регистрация: 27.12.2007
Адрес: Москва
Сообщений: 374
Репутация: 9830
Социальные сети Профиль на Хабрахабре

ТопикСтартер Re: Создание отказоустойчивого кластера для интернет-магазина (продолжение темы)

Цитата:
Сообщение от Pilat Посмотреть сообщение
Вот не неттопах точно не стоит. У них всё не так как у настоящих серверов, поэтому любые цифры, которые получите, смысла иметь не будут (процессоры слабые и ущербные, диски 5400 и со слабыми контроллерами, сетевых интерфейсов больше двух не бывает, и так далее). А вот функционал на виртуалках проще отлаживать - приходится много конфигураций проверять.
Хотя я себе и купил неттоп. Шумит сильно... за те же деньги я мог бы купить несколько древних компьютеров с лучшими характеристиками.

И всё же непонятен вопрос со стоимостью. Если есть много денег - то почему бы ту же vmware не поставить в режиме отказоустойчивости, или ещё что-то подобное.

Мне на первом этапе нужны не столько цифры, сколько научиться создавать и администрировать кластер Линукса. Поэтому и подумал про неттопы, а то обычные мыльницы очень сильно жужжат. Но с неттопами боюсь нарваться на несовместимость по драйверам.


А по поводу денег - их бывает мало или очень мало)
Заказчик может позволить себе купить несколько серверов, и, возможно, даже дисковую систему с оптическим интерфейсом, но речь не идет о крупных инвестициях. Это просто интернет-магазин, там нет бешеных денег.

Вообще обычно когда спрашиваешь про отказоустойчивость, многие говорят, что надо. А когда называешь цены, обычно говорят что ну ладно, подумаешь, пусть денек сервер и постоит) Поэтому нужно недорогое, но надежное решение, как бы смешно это не звучало.
Александр Фролов вне форума   Ответить с цитированием
Старый 06.09.2011, 18:28   #18
Pilat
Академик
 
Регистрация: 08.03.2007
Сообщений: 2,914
Репутация: 88922
Отправить сообщение для Pilat с помощью ICQ Отправить сообщение для Pilat с помощью Skype™

По умолчанию Re: Создание отказоустойчивого кластера для интернет-магазина (продолжение темы)

Цитата:
Сообщение от Александр Фролов Посмотреть сообщение
А по поводу денег - их бывает мало или очень мало)
Заказчик может позволить себе купить несколько серверов, и, возможно, даже дисковую систему с оптическим интерфейсом, но речь не идет о крупных инвестициях. Это просто интернет-магазин, там нет бешеных денег.
"дисковую систему с оптическим интерфейсом" - это уже расходы на уровне десятков килобаксов только на систему хранения, может быть тогда стоит озвучить бюджет? Ведь думать о кластере за 10К и за 100К - это разные немного вещи.
Pilat вне форума   Ответить с цитированием
Старый 06.09.2011, 19:00   #19
iHead
iHead.ru
 
Аватар для iHead
 
Регистрация: 25.04.2008
Адрес: Kirov
Сообщений: 874
Репутация: 76775
Отправить сообщение для iHead с помощью ICQ
Социальные сети

По умолчанию Re: Создание отказоустойчивого кластера для интернет-магазина (продолжение темы)

слишком долго и много теоретизируете.
о движке сайта вобще ни слова.
начните с простого, усложнить всегда успеете.
пока вы раздумываете как сделать конфетку, конкуренты убегут настолько далеко, что даже с HA-кластерами будет не догнать.
iHead вне форума   Ответить с цитированием
Старый 06.09.2011, 19:08   #20
Александр Фролов
Кандидат наук
 
Регистрация: 27.12.2007
Адрес: Москва
Сообщений: 374
Репутация: 9830
Социальные сети Профиль на Хабрахабре

ТопикСтартер Re: Создание отказоустойчивого кластера для интернет-магазина (продолжение темы)

Цитата:
Сообщение от Pilat Посмотреть сообщение
"дисковую систему с оптическим интерфейсом" - это уже расходы на уровне десятков килобаксов только на систему хранения, может быть тогда стоит озвучить бюджет? Ведь думать о кластере за 10К и за 100К - это разные немного вещи.
Заказчик не должен озвучивать бюджет, и я не могу от него этого требовать. Обычно исполнитель предлагает решение и сообщает его стоимость, а заказчик выбирает исполнителя, подходящего по бюджету.

Сейчас меня интересуют решения с кластером по минимальным ценам.

Александр Фролов добавил 06.09.2011 в 19:15
Цитата:
Сообщение от iHead Посмотреть сообщение
слишком долго и много теоретизируете.
о движке сайта вобще ни слова.
начните с простого, усложнить всегда успеете.
пока вы раздумываете как сделать конфетку, конкуренты убегут настолько далеко, что даже с HA-кластерами будет не догнать.
Что касается "движка", то это очень сложная разработка, наша собственная (склад, логистика, документооборот, статистика, учет продаж и т.п.). Там есть nginx, apache, mysql, memcached, mondodb, sphinx, т.е. много всего. Проект высоконагруженный, используется кеширование и разные технологии ускорения.

Требуется кластеризация MySQL, и с этом у меня самые большие сомнения - где найти специалистов с опытом.

Срочности особой нет, т.к. все работает как раз в простом варианте (ну если его можно назвать простым) на одном сервере, и запасной сервер готовится. А вот подумать прежде чем предлагать заказчику заплатить круглую сумму и выбрать оптимальное, проверенное решение, было бы не плохо. Поэтому я и ищу наиболее подходящее решение, а также исполнителей с опытом реализации подобных проектов.

Последний раз редактировалось Александр Фролов; 06.09.2011 в 19:17.. Причина: Добавлено сообщение
Александр Фролов вне форума   Ответить с цитированием
Ответ



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны