- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Нужно раздавать много файлов, несколько млн, размер файла 1-50 мб, файлы раскиданы по 1к файлов в папку, чтоб не кошмарить файловую систему. Сейчас раздается с нескольких серверов, при этом имеется "главный" сервер, на котором база с записями, где именно искать требуемый файл. Нагрузка все возрастает, скоро придется все это разносить на еще несколько серверов. Проблемы с балансировкой уже сейчас имеется, изза того что одни файлы более популярны, другие менее. В общем сложно все это админить, когда оно лежит так разрозненно и не всегда сразу понятно где что искать.
Потому пришла идея все это "визуально" собрать в одном месте, чтоб для скриптов и админа все выглядело как будто все лежит на одном сервере.
Самостоятельно разбираться с объединением серверов в кластер и т.п. не хочется. Для моих целей подойдут "облачные" решения? чтоб гдето в конфиге указать что нужно столько то процессора, оперативки, диска , и не заморачиваться над тем, сколько там реально серверов, чтоб для меня все это выглядело как один супербольшой сервер?
foxi, сколько млн бюджета выделено на все это?
сейчас 2 сервера + вдс = 650$ в месяц, при текущей схеме скоро еще 1-2 сервера нужно будет, придется тратить до 1000$
foxi, быть может, вам "супербольшой сервер" и нужен?
Проблемы с балансировкой уже сейчас имеется, изза того что одни файлы более популярны, другие менее.
Это на каком канале требуется балансировка?
http://en.wikipedia.org/wiki/List_of_file_systems#Distributed_parallel_fault-tolerant_file_systems
Для хранения можно использовать Ceph, GlusterFS, будет выглядеть, как один большой сервер :)
Раздачу файлов вынести на кэширующие прокси.
foxi, да, вы подробнее расскажите про проект, чтобы мы могли подсказать что-то с КПД больше, чем у паровоза
Итак, интересуют:
Общий объем данных (+ если есть - статитстика по IOPS и объем кэшируемых данных)
Требования к CPU
Сколько вся система потребляет трафика (и его структура)
Что на счет интенсивности базы работыс БД
Какие пожелания по доп. сервису
А то гвозди микроскопом забивать нонче не модно. Облака тоже не сильно экономят
foxi, быть может, вам "супербольшой сервер" и нужен?
его хватит не надолго, если брать паблик решения "супербольших", выгоднее получается взять 4-5 поменьше, чем один супербольшой ) вот и подумал, вдруг облачные технологии будут удобнее и выгоднее.
foxi, есть информация, что вы не обо всех предложениях проинформированы. Облака все же дороже серверов выходят :)
Вы б задачу свою подробней описали, у нас тоже опыт есть, какой-никакой :) К нам за этим клиенты и приходят :)
Данных 5 тб примерно.
Каналы 2*100 мб/с заняты постоянно на процентов 70-80
Процессоры также активно юзаются, но скорее изза того что файловая система подтормаживает.
Облако тут просто не выгодно брать. Если более менее опишите на каких железках теперь работает, можно прикинуть. какой величины сама БД? Также планируемый рост?