Мне удалось найти сервера с гигабитными каналами от $650, но вот например сервера с 2 гигабитным каналом и более чем 4 винтами за $1300 как-то не находятся - ценник ростёт куда больше чем в 2 раза, как при увеличении количества винтов, так и при широких каналах...
И если с винтами всё понятно - это уже другие корпуса и больше места в стойке, больше питание, то вот с каналами не очень понятно. =)
Andron_buton: Во многом повторили мои слова, вот не соглашусь тут по поводу зоопарка гигабитных серверов, когда посещалка у сайта становится больше 100к хостов/300к хитов, гигабитными серверами ой как сложно рулить, либо создавать полные зеркала, либо очень искусно балансировать
Рулил успешно 4мя и с большим кол-вом хостов/хитов. Зеркалировать можно кеш из новинок/ аномально популярных фильмов, по остальному довольно хорошо статистически распределяется траффик, и распределение довольно стабильно во времени. Т.е. нет необходимости постоянно балансировать нагрузку.
Кстати, я администрирую аналогичного характера систему построенную на крупных серверах с 16-24 дисками и несколькими гигабитными линками. И после того, как серверов становится более одного, а рано или поздно ресурс ростёт, возникают те же проблемы, и лучше о них думать тогда, когда система проектируется, потому, что процесс масштабирования готовой системы заточенной на работу на одном большом хранилище весьма болезненный.
extra: Кодировать видео будете на данном сервере или нет? Расширять канал более 1Gbit будете или нет? Сейчас мы клиенту настроили такой сервер под кодирование/раздачу (отдельно от морды):
2x Xeon E5 + 96GB RAM + 24x2TB HDD + 4Gbit/s unmetered, 4225$/месяц при условии предоплаты сразу за 3 месяца.
4 сервера с гигабитными каналами и с куда большей суммарной производительностью для кодирования обойдутся более чем в полтора раза дешевле.
Насытить гигабитный канал с таким контентом, особенно если это HD, можно уже с 4 sata винтов в raid 10. Широкие каналы и полки с дисками, будут заметно дороже, чем масштабирование недорогими серверами с гигабитными каналами и 4 винтами на борту.
Также, такая система имеет меньше точек отказа, можно выводить в обслуживание сервера, не нарушая работы системы, она может быть географически распределённой, ну и администрирование однотипных серверов удобно.
100мбит для стриминга очень мало - так, побаловаться при разработке/тестировании. Лучше начать с одного сервера, раздающего контент, и по необходимости увеличивать их количество.
За 500-1000$ вы как раз сможете арендовать такой сервер с честным гигабитом. (в районе 650$ из того, что я пробовал, хотя возможно получится найти дешевле).
Абузоустойчевые решения смотреть не стоит. Не за такие деньги и не с таким трафиком. На абузы придётся реагировать.
Сайт стоит хостить отдельно, иначе будут большие проблемы с производительностью. Во-первых таким трафиком легко забить канал, во-вторых отдача мелкой статики, работа с БД сильно просадит скорость отдачи, за счёт резкого увеличения количества дисковых операций, и отдаваться нормально не будет и сайт будет тормозить, либо понадобится сервер другой весовой категории, который обойдётся дороже.
Под сайт лучше взять отдельный сервер, со 100мбит лимитированным по трафику каналом, парой винтов в зеркале($100-150).
В общем-то бюджет, на первое время, более-менее адекватный, если это только на "железо".
XammeR: Здравствуйте.
Я склоняюсь к кластеру с возможностью расширения. Допустим есть морда и есть сервера с файловым архивом, как я понимаю нужно научить морду понимать, что какой-то сервер загружен на 90% и отдавать видео с другого ?
Зачем такие сложности? Просто делаются несколько серверов, выполняющих раздачу контента параллельно. Нагрузка в простейшем случае балансируется с помощью DNS - если сервера раздающее контент одинаковы, это довольно хорошо работает. А одинаковые сервера проще обслуживать.
Могу рассказать подробнее и дать советы по архитектуре, а возможно и помочь имеющимися наработками по распределённой раздаче и конвертированию, если нужно.
Давайте без фанатизма!
Порог вхождения для Друпала и Yii или той же Symfony примерно одинаков.
В любом случае - это ваше дело на изучение чего потратить ваше время...
Ваше высказывание заставляет вспомнить поговорку: "слышал звон, да не знаю где он".
В вашем списке есть серьёзные ошибки:
-Большое количество запросов к БД и высокая нагрузка это разные вещи. Большое количество простых и быстрых запросов даёт небольшую нагрузку.
-О грамотности архитектуры вы вряд-ли можете судить, судя по вашему комментарию, разве только с чих-то слов... Не доверяйте всему, что читаете.
-ООП это не "серебрянная пуля" которая решает все вопросы разом, да это модно, и часто довольно удобно, но это не единственный жизнеспособный метод программирования. И оценивать пользуясь таким аргументом какой-то продукт довольно глупо
-Чем странен кеш Drupal? =) Тем что он по умолчанию в БД? Так есть возможность использовать другие хранилища.
-Несовместимость каких модулей? Вот лично из вашей практики? Вообще есть конечно пара примеров, но это меньше, чем в большинстве CMS с развитым комюнити и большим количеством модулей.
-Кастомизация сделана идеологически очень грамотно и хорошо отделена от функционала. Она трудоёмка для того, кто не знает толком Drupal.
Порог вхождения Yii и Symfony отличается довольно сильно - Symfony реализует более сложные концепции, а уж сравнивать необходимые знания для создания приложений с нуля на фреймворке и на CMS|CMF вообще смехотворно.
У Нetzner довольно вкусные предложения по бюджетным серверам. VPS у них довольно-таки отвратные. С перегрузкой по дискам сам сталкивался и не раз. Можно бадаться с саппортом и вопрос решается на какое-то время, но это далеко не лучший вариант.
По поводу адалта - размещать его в Германии весьма неумно. И к тому же, у Hetzner хостинг весьма абузочуствительный - закрыть могут по первому чиху.
Lopas, не понимаю, с чего такое стремление создать проблемы топикстартеру?
С каким простите опытом? Я больше 8 лет администрирую сервера. =)
С учётом того, что на VPS диск очень часто является узким местом(а на VPS хетзнера, так с этим вообще большие проблемы бывают), память ой как нужна, даже для отдачи статики, чтобы не получать тормоза на каждый файл при чтении с диска, а отдавать его из кеша файловой системы.
Опять же, php нужна память - многие современные CMS хотят довольно большой лимит. И откуда её выделять? Работать с одним-двумя процессами?
Опять же на qurey cache бывает разумно выделить приличный кусок памяти, и на индексы, чтобы не получать тормоза на обращениях к диску.
VPS в Hetzner брать не стоит. Очень часто проблемы с перегруженными дисками.
512МБ для веб сервера весьма скромно, учитывая, что туда надо запихнуть mysql, веб сервер, и на забыть оставить место на кеш файловой системы, и часть скушает OS и системные процессы.
Ещё один момент касательно VPS - это сервер. Его надо не только настроить, за ним надо следить. Установка панельки, которой обычно ограничиваются, и больше ничего не делают плохой выход, и с точки зрения стабильности, и с точки зрения безопасности.
Не имея знаний в области администрирования, возможно, лучшим решением будет поискать шаред получше. Ну или увеличить бюджет и брать managed vps (т.е. c администрированием включённым в стоимость), или искать того, кто будет за ней следить...
Мне удалось найти сервера с гигабитными каналами от $650, но вот например сервера с 2 гигабитным каналом и более чем 4 винтами за $1300 как-то не находятся - ценник ростёт куда больше чем в 2 раза, как при увеличении количества винтов, так и при широких каналах...
И если с винтами всё понятно - это уже другие корпуса и больше места в стойке, больше питание, то вот с каналами не очень понятно. =)
Во многом повторили мои слова, вот не соглашусь тут по поводу зоопарка гигабитных серверов, когда посещалка у сайта становится больше 100к хостов/300к хитов, гигабитными серверами ой как сложно рулить, либо создавать полные зеркала, либо очень искусно балансировать
Рулил успешно 4мя и с большим кол-вом хостов/хитов. Зеркалировать можно кеш из новинок/ аномально популярных фильмов, по остальному довольно хорошо статистически распределяется траффик, и распределение довольно стабильно во времени. Т.е. нет необходимости постоянно балансировать нагрузку.
Кстати, я администрирую аналогичного характера систему построенную на крупных серверах с 16-24 дисками и несколькими гигабитными линками. И после того, как серверов становится более одного, а рано или поздно ресурс ростёт, возникают те же проблемы, и лучше о них думать тогда, когда система проектируется, потому, что процесс масштабирования готовой системы заточенной на работу на одном большом хранилище весьма болезненный.
Кодировать видео будете на данном сервере или нет? Расширять канал более 1Gbit будете или нет? Сейчас мы клиенту настроили такой сервер под кодирование/раздачу (отдельно от морды):
2x Xeon E5 + 96GB RAM + 24x2TB HDD + 4Gbit/s unmetered, 4225$/месяц при условии предоплаты сразу за 3 месяца.
4 сервера с гигабитными каналами и с куда большей суммарной производительностью для кодирования обойдутся более чем в полтора раза дешевле.
Насытить гигабитный канал с таким контентом, особенно если это HD, можно уже с 4 sata винтов в raid 10. Широкие каналы и полки с дисками, будут заметно дороже, чем масштабирование недорогими серверами с гигабитными каналами и 4 винтами на борту.
Также, такая система имеет меньше точек отказа, можно выводить в обслуживание сервера, не нарушая работы системы, она может быть географически распределённой, ну и администрирование однотипных серверов удобно.
100мбит для стриминга очень мало - так, побаловаться при разработке/тестировании. Лучше начать с одного сервера, раздающего контент, и по необходимости увеличивать их количество.
За 500-1000$ вы как раз сможете арендовать такой сервер с честным гигабитом. (в районе 650$ из того, что я пробовал, хотя возможно получится найти дешевле).
Абузоустойчевые решения смотреть не стоит. Не за такие деньги и не с таким трафиком. На абузы придётся реагировать.
Сайт стоит хостить отдельно, иначе будут большие проблемы с производительностью. Во-первых таким трафиком легко забить канал, во-вторых отдача мелкой статики, работа с БД сильно просадит скорость отдачи, за счёт резкого увеличения количества дисковых операций, и отдаваться нормально не будет и сайт будет тормозить, либо понадобится сервер другой весовой категории, который обойдётся дороже.
Под сайт лучше взять отдельный сервер, со 100мбит лимитированным по трафику каналом, парой винтов в зеркале($100-150).
В общем-то бюджет, на первое время, более-менее адекватный, если это только на "железо".
Где ж это памяти на контент такой напастись? =) Онлайн кинотеатр это не 2-3 фильма, а терабайты обычно.
Вот кеш на ssd, с новинками/хитами помогает.
Я уже сказал что сам хостер не при чем. Но с каналом до них хрень. Я с ростелекома не вижу серв, человек с белоруссии тоже.
traceroute(tracert)|mtr(winmtr) помогает в подобных случаях - видно где проблема.
Кстати, а вы пытаетесь подключиться по ssh используя домен, или ip сервера? Если первое, то может дело в DNS?
Здравствуйте.
Я склоняюсь к кластеру с возможностью расширения. Допустим есть морда и есть сервера с файловым архивом, как я понимаю нужно научить морду понимать, что какой-то сервер загружен на 90% и отдавать видео с другого ?
Зачем такие сложности? Просто делаются несколько серверов, выполняющих раздачу контента параллельно. Нагрузка в простейшем случае балансируется с помощью DNS - если сервера раздающее контент одинаковы, это довольно хорошо работает. А одинаковые сервера проще обслуживать.
Могу рассказать подробнее и дать советы по архитектуре, а возможно и помочь имеющимися наработками по распределённой раздаче и конвертированию, если нужно.
Skype: boris.syomov
Тогда почитайте пару переводов не кого иного, как Даниэла Кудвиена:
http://graker.ru/news/2011/08/25/khvatit_krasit_guby_ogromnoi_svine
http://graker.ru/news/2011/08/26/kak_smyt_makiyazh_so_svini_ili_vykhod_iz_krizisa
И еще несколько недостатков Друпала:
Давайте без фанатизма!
Порог вхождения для Друпала и Yii или той же Symfony примерно одинаков.
В любом случае - это ваше дело на изучение чего потратить ваше время...
Ваше высказывание заставляет вспомнить поговорку: "слышал звон, да не знаю где он".
В вашем списке есть серьёзные ошибки:
-Большое количество запросов к БД и высокая нагрузка это разные вещи. Большое количество простых и быстрых запросов даёт небольшую нагрузку.
-О грамотности архитектуры вы вряд-ли можете судить, судя по вашему комментарию, разве только с чих-то слов... Не доверяйте всему, что читаете.
-ООП это не "серебрянная пуля" которая решает все вопросы разом, да это модно, и часто довольно удобно, но это не единственный жизнеспособный метод программирования. И оценивать пользуясь таким аргументом какой-то продукт довольно глупо
-Чем странен кеш Drupal? =) Тем что он по умолчанию в БД? Так есть возможность использовать другие хранилища.
-Несовместимость каких модулей? Вот лично из вашей практики? Вообще есть конечно пара примеров, но это меньше, чем в большинстве CMS с развитым комюнити и большим количеством модулей.
-Кастомизация сделана идеологически очень грамотно и хорошо отделена от функционала. Она трудоёмка для того, кто не знает толком Drupal.
Порог вхождения Yii и Symfony отличается довольно сильно - Symfony реализует более сложные концепции, а уж сравнивать необходимые знания для создания приложений с нуля на фреймворке и на CMS|CMF вообще смехотворно.
У Нetzner довольно вкусные предложения по бюджетным серверам. VPS у них довольно-таки отвратные. С перегрузкой по дискам сам сталкивался и не раз. Можно бадаться с саппортом и вопрос решается на какое-то время, но это далеко не лучший вариант.
По поводу адалта - размещать его в Германии весьма неумно. И к тому же, у Hetzner хостинг весьма абузочуствительный - закрыть могут по первому чиху.
Lopas, не понимаю, с чего такое стремление создать проблемы топикстартеру?
С каким простите опытом? Я больше 8 лет администрирую сервера. =)
С учётом того, что на VPS диск очень часто является узким местом(а на VPS хетзнера, так с этим вообще большие проблемы бывают), память ой как нужна, даже для отдачи статики, чтобы не получать тормоза на каждый файл при чтении с диска, а отдавать его из кеша файловой системы.
Опять же, php нужна память - многие современные CMS хотят довольно большой лимит. И откуда её выделять? Работать с одним-двумя процессами?
Опять же на qurey cache бывает разумно выделить приличный кусок памяти, и на индексы, чтобы не получать тормоза на обращениях к диску.
VPS в Hetzner брать не стоит. Очень часто проблемы с перегруженными дисками.
512МБ для веб сервера весьма скромно, учитывая, что туда надо запихнуть mysql, веб сервер, и на забыть оставить место на кеш файловой системы, и часть скушает OS и системные процессы.
Ещё один момент касательно VPS - это сервер. Его надо не только настроить, за ним надо следить. Установка панельки, которой обычно ограничиваются, и больше ничего не делают плохой выход, и с точки зрения стабильности, и с точки зрения безопасности.
Не имея знаний в области администрирования, возможно, лучшим решением будет поискать шаред получше. Ну или увеличить бюджет и брать managed vps (т.е. c администрированием включённым в стоимость), или искать того, кто будет за ней следить...