Спасут ли SSD вместо SAS 7200RPM если нагрузка 100%

123
pupseg
На сайте с 14.05.2010
Offline
347
#11

Есть большой опыт в таких проектах и т д, и с нуля запускал и сопровождаю.

Прочитал - офигел, как у вас еще не упало все на одном сервере.

Обычно такие проекты разносят на несколько серверов, на одном держат БД, на другом веб-фронт, делают два параллельных сервера-хранилища, вяжут отдачу контента с них через haproxy ит д.

Вам не помогут SSD-диски, как тут выше писали - они отодвинут вам потолок, в который вы несомненно упретесь на 100%.

Вам не оптимизацией и улучшением железа сейчас заниматься надо, а расширеением бюджетов.

Движек какой-нибудь DLE ? Если да, то что-то вроде DLE_VIEWS и других чистится вообще когда-нибудь ? Используете ли полнотекстовой поиск ? Если нет - почему бы не перегнать таблицы в innodb ? Зачем вам apache? Подобные проекты давно уже на FPM. Если свободной памяти есть всегда несколько гигов, то кладите "горячий" контент или "горячие" привьюхи в память и т д, как раз для того, что бы не дергать диски постоянно. Про канал - Вы меряли - сколько вы грузите? Сколько у вас ОДНОВРЕМЕННЫХ ПРОСМОТРОВ видео ? Что-то мне кажется вам пару гбит/с понадобиться, а не 500мбит/с.

А-А-А , вон же Andron_buton тоже самое говорит.

Качественная помощь в обслуживании серверов. (/ru/forum/661100) Бесплатных консультаций не даю, не помогаю, не обучаю. Минималка от 100$. Как пропатчить KDE-просьба не спрашивать. Есть форумы (http://linux.org.ru) и полезные сайты (http://www.opennet.ru/).
78884115
На сайте с 28.11.2012
Offline
43
#12
pupseg:

Движек какой-нибудь DLE ? Если да, то что-то вроде DLE_VIEWS и других чистится вообще когда-нибудь ? Используете ли полнотекстовой поиск ? Если нет - почему бы не перегнать таблицы в innodb ? Зачем вам apache? Подобные проекты давно уже на FPM. Если свободной памяти есть всегда несколько гигов, то кладите "горячий" контент или "горячие" привьюхи в память и т д, как раз для того, что бы не дергать диски постоянно. Про канал - Вы меряли - сколько вы грузите? Сколько у вас ОДНОВРЕМЕННЫХ ПРОСМОТРОВ видео ? Что-то мне кажется вам пару гбит/с понадобиться, а не 500мбит/с.
А-А-А , вон же Andron_buton тоже самое говорит.

полнотекстовой поиск не используется, движек годов 2005, мобильный, у него нет названия, и автор его неизвестен, но я как не кодер, могу сказать что он не оптимизирован, в нём много лишнего, а соответственно, это лишняя нагрузка на MySQL, ну допустим там есть поле которое я никогда не заполняю, а в него постоянно пишется "нет" и в скрипте нигде не выводится, но сам запрос как я понимаю дёргается при каждом посещении того или иного файла. А раньше вообще в нём жесть была, скриншоты создавались на ходу, ну доспустим я настроил 10 видео на одну страницу, и каждое такое посещение создавала но ходу скриншоты вытягивая заданный кадр, только для одного пользователя, да, это бред, но так люди экономили на месте в 2005 году. Тоесть, я правильно понял, что оптимизация скрипта не решит проблему в корне?

N
На сайте с 06.05.2007
Offline
419
#13
Тоесть, я правильно понял, что оптимизация скрипта не решит проблему в корне?

Ответ, как и всегда - "Это зависит".

78884115:
и каждое такое посещение создавала но ходу скриншоты вытягивая заданный кадр, только для одного пользователя

Например, довольно странно, что у вас процессы apache попадают в iotop с чтением порядка мегабайтов в секунду. Движок, наверное и продолжает их создавать или еще что-то обрабатывать. На киносайтах обычно nginx просто отдает готовые видеофайлы.

Так что, я считаю, у вас должен быть еще потенциал для роста без покупки SSD. Хотя SSD все равно полезен.

По моим наблюдениям, cервера киносайты арендуют пачками, потому что к каждому серверу прилагается полоса, на которой можно паразитировать до поры до времени, а не покупать выделенную полосу в 1 гбит. Есть ли там SSD - второй вопрос.

Кнопка вызова админа ()
pupseg
На сайте с 14.05.2010
Offline
347
#14

netwind, Паш, даже арендованных 4-6 серверов, даже с ссд - выгоднее в агрегации, чем полоса даже в 2гбит

---------- Добавлено 17.03.2015 в 23:15 ----------

но тут возникает накладной расход на админа, который все это настроит ;)

RAS
На сайте с 27.11.2005
Offline
126
RAS
#15

Думаю, что сначала надо глянуть на настройки и какие есть паразитные операции ввода, вывода. А потому уже думать про замену дисков и разнесение.

Администрируем сервера, впс, вдс. Ускоряем загрузку сайтов - DLE, Word Press, Joomla, Modx... Настраиваем безопасность. Ручная чистка rootkit/malware/вирусов. (/ru/forum/867860) Разработка - shell/bash/sh/python/perl.
78884115
На сайте с 28.11.2012
Offline
43
#16
netwind:
Например, довольно странно, что у вас процессы apache попадают в iotop с чтением порядка мегабайтов в секунду. Движок, наверное и продолжает их создавать или еще что-то обрабатывать. На киносайтах обычно nginx просто отдает готовые видеофайлы.

так вот где была собака зарыта, действительно nginx не отдавал mp4 и 3gp файлы (а их качают больше) добавил ко всем сайтам это расширение, и диску стало легче.

ещё в nginx добавил:

output_buffers 1 4m;

directio 1m;

C
На сайте с 12.11.2008
Offline
47
#17

Если на сервере позволяет RAM, то с помощью nginx и proxy_store on; можно создать кеш в мемори и сбавить нагрузку с дисков.

Тоесть, создаем папку с файловой системой tmpfs к примеру в /tmp/video

И настраиваем nginx таким образом, что бы он 1 раз запрашивал файл с диска, и отдавал клиенту, и этим же временем сохранял его в /tmp/video/video.flv

Следующий раз при отдаче через try_files сначало смотрит в папку /tmp/video, если файл есть отдает прямо из memory, если нет обращается к диску

Таким образом можно снизить нагрузку на диски.

Но, смотря каким образом стримиться видео, и отдаются видео

SyCraft
На сайте с 31.07.2009
Offline
104
#18

apache2 не подходит для отдачи статики совершенно. Нужно от него избавляться. это во много решит проблему, если загнать наиболее часто используемые объекты в кеш файловой системы. Дальше nginx будет конвейером дергать файлы из кеша. AIO так же стоит включить. Вообще к вопросу стоит подходить комплексно.

вот я написал автоматический конфигуратон для nginx под linux и freebsd

https://cloud.sycraft.info/index.php/s/b7e2f8b5a38c3dd4caa518a085d8a5ae/download

- Администрирую и сопровождаю web-проекты любой сложности. () - Mikrotik: Работа любой сложности с гарантией от 1000 р ()
[umka]
На сайте с 25.05.2008
Offline
456
#19

SyCraft, при всём уважении, не стоит давать команды, которые автоматически скачивают и запускают скрипты.

Если это ваш скрипт, и изменения, которые он вносит в конфигурацию, подходят для вас на все 100%, то вовсе не факт, что они подойдут для всех и можно бездумно этот скрипт скачать и запустить.

Начинающие системные администраторы могут, во-первых, не понять, что за команду вы дали, во-вторых, могут не понять, что этот скрипт делает, в-третьих, потом создадут кучу тем: "Помогите! Трафик на сайтах упал на 50%"

Лог в помощь!
SyCraft
На сайте с 31.07.2009
Offline
104
#20
'[umka:
;13602748']SyCraft, при всём уважении, не стоит давать команды, которые автоматически скачивают и запускают скрипты.
Если это ваш скрипт, и изменения, которые он вносит в конфигурацию, подходят для вас на все 100%, то вовсе не факт, что они подойдут для всех и можно бездумно этот скрипт скачать и запустить.
Начинающие системные администраторы могут, во-первых, не понять, что за команду вы дали, во-вторых, могут не понять, что этот скрипт делает, в-третьих, потом создадут кучу тем: "Помогите! Трафик на сайтах упал на 50%"

Пардоньте, правда там сразу создаются бекапы но согласен

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий