- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть большой опыт в таких проектах и т д, и с нуля запускал и сопровождаю.
Прочитал - офигел, как у вас еще не упало все на одном сервере.
Обычно такие проекты разносят на несколько серверов, на одном держат БД, на другом веб-фронт, делают два параллельных сервера-хранилища, вяжут отдачу контента с них через haproxy ит д.
Вам не помогут SSD-диски, как тут выше писали - они отодвинут вам потолок, в который вы несомненно упретесь на 100%.
Вам не оптимизацией и улучшением железа сейчас заниматься надо, а расширеением бюджетов.
Движек какой-нибудь DLE ? Если да, то что-то вроде DLE_VIEWS и других чистится вообще когда-нибудь ? Используете ли полнотекстовой поиск ? Если нет - почему бы не перегнать таблицы в innodb ? Зачем вам apache? Подобные проекты давно уже на FPM. Если свободной памяти есть всегда несколько гигов, то кладите "горячий" контент или "горячие" привьюхи в память и т д, как раз для того, что бы не дергать диски постоянно. Про канал - Вы меряли - сколько вы грузите? Сколько у вас ОДНОВРЕМЕННЫХ ПРОСМОТРОВ видео ? Что-то мне кажется вам пару гбит/с понадобиться, а не 500мбит/с.
А-А-А , вон же Andron_buton тоже самое говорит.
Движек какой-нибудь DLE ? Если да, то что-то вроде DLE_VIEWS и других чистится вообще когда-нибудь ? Используете ли полнотекстовой поиск ? Если нет - почему бы не перегнать таблицы в innodb ? Зачем вам apache? Подобные проекты давно уже на FPM. Если свободной памяти есть всегда несколько гигов, то кладите "горячий" контент или "горячие" привьюхи в память и т д, как раз для того, что бы не дергать диски постоянно. Про канал - Вы меряли - сколько вы грузите? Сколько у вас ОДНОВРЕМЕННЫХ ПРОСМОТРОВ видео ? Что-то мне кажется вам пару гбит/с понадобиться, а не 500мбит/с.
А-А-А , вон же Andron_buton тоже самое говорит.
полнотекстовой поиск не используется, движек годов 2005, мобильный, у него нет названия, и автор его неизвестен, но я как не кодер, могу сказать что он не оптимизирован, в нём много лишнего, а соответственно, это лишняя нагрузка на MySQL, ну допустим там есть поле которое я никогда не заполняю, а в него постоянно пишется "нет" и в скрипте нигде не выводится, но сам запрос как я понимаю дёргается при каждом посещении того или иного файла. А раньше вообще в нём жесть была, скриншоты создавались на ходу, ну доспустим я настроил 10 видео на одну страницу, и каждое такое посещение создавала но ходу скриншоты вытягивая заданный кадр, только для одного пользователя, да, это бред, но так люди экономили на месте в 2005 году. Тоесть, я правильно понял, что оптимизация скрипта не решит проблему в корне?
Ответ, как и всегда - "Это зависит".
и каждое такое посещение создавала но ходу скриншоты вытягивая заданный кадр, только для одного пользователя
Например, довольно странно, что у вас процессы apache попадают в iotop с чтением порядка мегабайтов в секунду. Движок, наверное и продолжает их создавать или еще что-то обрабатывать. На киносайтах обычно nginx просто отдает готовые видеофайлы.
Так что, я считаю, у вас должен быть еще потенциал для роста без покупки SSD. Хотя SSD все равно полезен.
По моим наблюдениям, cервера киносайты арендуют пачками, потому что к каждому серверу прилагается полоса, на которой можно паразитировать до поры до времени, а не покупать выделенную полосу в 1 гбит. Есть ли там SSD - второй вопрос.
netwind, Паш, даже арендованных 4-6 серверов, даже с ссд - выгоднее в агрегации, чем полоса даже в 2гбит
---------- Добавлено 17.03.2015 в 23:15 ----------
но тут возникает накладной расход на админа, который все это настроит ;)
Думаю, что сначала надо глянуть на настройки и какие есть паразитные операции ввода, вывода. А потому уже думать про замену дисков и разнесение.
Например, довольно странно, что у вас процессы apache попадают в iotop с чтением порядка мегабайтов в секунду. Движок, наверное и продолжает их создавать или еще что-то обрабатывать. На киносайтах обычно nginx просто отдает готовые видеофайлы.
так вот где была собака зарыта, действительно nginx не отдавал mp4 и 3gp файлы (а их качают больше) добавил ко всем сайтам это расширение, и диску стало легче.
ещё в nginx добавил:
output_buffers 1 4m;
directio 1m;
Если на сервере позволяет RAM, то с помощью nginx и proxy_store on; можно создать кеш в мемори и сбавить нагрузку с дисков.
Тоесть, создаем папку с файловой системой tmpfs к примеру в /tmp/video
И настраиваем nginx таким образом, что бы он 1 раз запрашивал файл с диска, и отдавал клиенту, и этим же временем сохранял его в /tmp/video/video.flv
Следующий раз при отдаче через try_files сначало смотрит в папку /tmp/video, если файл есть отдает прямо из memory, если нет обращается к диску
Таким образом можно снизить нагрузку на диски.
Но, смотря каким образом стримиться видео, и отдаются видео
apache2 не подходит для отдачи статики совершенно. Нужно от него избавляться. это во много решит проблему, если загнать наиболее часто используемые объекты в кеш файловой системы. Дальше nginx будет конвейером дергать файлы из кеша. AIO так же стоит включить. Вообще к вопросу стоит подходить комплексно.
вот я написал автоматический конфигуратон для nginx под linux и freebsd
https://cloud.sycraft.info/index.php/s/b7e2f8b5a38c3dd4caa518a085d8a5ae/download
SyCraft, при всём уважении, не стоит давать команды, которые автоматически скачивают и запускают скрипты.
Если это ваш скрипт, и изменения, которые он вносит в конфигурацию, подходят для вас на все 100%, то вовсе не факт, что они подойдут для всех и можно бездумно этот скрипт скачать и запустить.
Начинающие системные администраторы могут, во-первых, не понять, что за команду вы дали, во-вторых, могут не понять, что этот скрипт делает, в-третьих, потом создадут кучу тем: "Помогите! Трафик на сайтах упал на 50%"
;13602748']SyCraft, при всём уважении, не стоит давать команды, которые автоматически скачивают и запускают скрипты.
Если это ваш скрипт, и изменения, которые он вносит в конфигурацию, подходят для вас на все 100%, то вовсе не факт, что они подойдут для всех и можно бездумно этот скрипт скачать и запустить.
Начинающие системные администраторы могут, во-первых, не понять, что за команду вы дали, во-вторых, могут не понять, что этот скрипт делает, в-третьих, потом создадут кучу тем: "Помогите! Трафик на сайтах упал на 50%"
Пардоньте, правда там сразу создаются бекапы но согласен