netwind: Сайт для людей. Люди имеют привычку читать одни и те же новые новости, статьи, сообщения. Короче говоря, где в том или ином виде присутствует "working set", который выгодно держать в памяти целиком.
Тут вы очень узко смотрите.
Например, есть база, по которым надо строить отчеты, и показывать их людям.
Создание отчета:
- во-первых, создает много чтения
- во-вторых, "вымывает" весь кэш.
Поэтому полагаться на кэш - это не очень хорошо.
netwind: Вы сказали, что вас мемкеш не работает ? Задумайтесь, ведь у всех работает, а у вас нет.
Что значит не работает?
Он у меня работает, только я сильно ограничил область его применения и его память. И это хорошо, сайты не должны работать быстро только потому что кэш есть.
Ручной кэш типа memcache - это дополнительная сложность при разработке.
Автоматический кэш типа буфера в mysql - это вымывание при создании отчетов.
Любой кэш - это потеря гибкости, и сложности когда кэш приходится очищать.
P.S.
Правильно расфасованные данные и быстрое хранилище - это намного лучше кэша.
netwind: ThePriest, тут дело не в размере, а в шаблоне использования. Я думаю, у вас далеко не стандартный сайт. Ну а если стандартный - памяти добавили бы лучше
Я не знаю что вы имеете в виду под стандартным сайтом, поэтому не могу сравнить.
У меня background скрипты постоянно дергают базу, пишут в нее.
Много данных вынесено из базы в redis - а так было бы еще больше чтения.
Память добавлять не вижу смысла. Дело не в памяти, и не в диске, а в проце.
Я уже начинаю кешировать вывод некоторых данных из-за того что cpu недостаточно быстро данные проворачивает.
В общем SSD в корне изменили подход к разработке.
netwind: Но ведь это как раз и означает, что вы уделили значительное внимание записи.
Даже на диске с логами записи на порядок меньше, чем чтения на диске с данными.
netwind: значит это большая бд тормозит как сеошная помойка. Это ни фига не норма.
1k запросов к базе в секунду и ничего не тормозит. Диск перестал быть узким местом после перехода на SSD. В Memcache уже мало что кэшируется, идет сразу запрос к базе.
netwind: На самом деле наоборот. За исключением специальных случаев (сеошная помойка, рОздача кин) на выделенном вебсервере операций записи больше чем чтения.
Как правило, владельцы озабочены быстрым ответом и оперативная память уже содержит весь рабочий набор данных. Изменения этого же рабочего набора постоянно пишутся на диск.
В случае больших БД чтение превышает запись обычно.
Mein Kampf: У меня вообще 4SSD В RAID 10 HW и Чё?
xD
Скорее всего это работает даже медленнее + надежность снижена (добавляется еще 1 железяка, которая может сломаться).
dlyanachalas: Спасибо за эту идею! Пока обдумываю, как это сделать. Судя по всему, не простая задача. Есть какая-то программа, которая может так делать, или всё вручную?
hosting_manager: Это не сервер, это домашний комп, погруженный на стеллаж в ангаре, собранный студентами или приезжими индусами. На сервер оно совсем не тянет и стоит оно почти 60 евро + установочная плата 100 евро даже в том же hetzner...
С чего бы это?
Их предыдущие серверы отлично отрабатывали у меня годами, без эксцессов.
Пофиксят брак в новой линейке - можно будет заказывать новые.
Стоят они именно 50 евро в месяц + установка 84 евро:
hosting_manager: Кстати за 50 евро / месяц без учета стоимости трафика серверное железо в Европе реально найти с такими характеристиками. Но не только железо нужно искать, а и нормальный ЦОД, нормальную связность.
Вот в Хетцнере и железо, и связность включены.
hosting_manager: Да и зачем Вам 32 ГБ оперативки нужно при наличии SSD? Очень редко встречаю проекты, которые потребляют даже 16 ГБ памяти, даже при посещаемости много десятков тысяч хостов. В основном сейчас все клепают варезники, где 16 ГБ с головой, зачастую и 8 хватает. Вот только маркетинг делает чудеса.
Мне надо именно 32. Запущены in-memory базы - данные в памяти хранятся.
Вот сейчас в htop занято 20 гигов + файловый кеш. И я бы еще буфер в mysql увеличил.
hosting_manager: Не важно, что каналы хреновые, не важно, что ЦОД - ангар с неумелыми студентами, важны красивые цифры и низкая цена. А то, что оно такое зачастую и не надо, что серверный вариант с менее красивыми цифрами будет эффективнее - об этом не думают.
Во-первых, каналы там хорошие. Открывается все моментально, без лагов.
Запущен внешний мониторинг раз в 1 минуту чекает - никаких падений.
Во-вторых, да, низкая цена важна. Я не люблю деньги на ветер выкидывать. И цифры в Munin мне тоже хочется видеть хорошие.
Серверный вариант я у них возьму как только они запустят новую линейку. Я готов лишние 15-20 евро за это отдавать :)
А цифры меньше меня не устроят - уже указал почему.
Но замечу, мне повезло - попался сервачок, работает без перебоев, аптайм 23 дня. Так что при желании можно попробовать заказать, потестить, если падает - вернуть.
Хочу второй взять с ECC памятью когда обновят ex6.
hosting_manager: Лучше бы они железо улучшили, чтоб память 3 раза подряд ошибки не давала, а не считали, как денег больше снять.
У них есть серверное железо с ECC памятью. Только оно пока на 100 Мбитах.
Вот его переводят на Гигабит.
hosting_manager: hetzner надо новый слоган придумать - дорого и глупо. Сколько не читаю эту тему - не перестают удивлятся. Зачем таким пользоваться? Каковы причины? Нет нормальных ЦОДов?
MIRhosting.com: С SSD есть одна проблемка: ее внезапная смерть. Или если не внезапная то очень странные сипмтомы. Может конечно это вопрос привычки к тому как умирают SATA, но мне более понятно подключить smart к нагиос чем неожиданные read-only кирпичи ssd.
И даже Media_Wearout_Indicator не подсказывает?
jcrush: Не буду создавать тему, спрошу тут.
Кто как продлевает жизни SSD? под линуксом.
Я пока кроме того чтобы запретить кеш в хроме, ничего путного не нашел
Сайт для людей. Люди имеют привычку читать одни и те же новые новости, статьи, сообщения. Короче говоря, где в том или ином виде присутствует "working set", который выгодно держать в памяти целиком.
Тут вы очень узко смотрите.
Например, есть база, по которым надо строить отчеты, и показывать их людям.
Создание отчета:
- во-первых, создает много чтения
- во-вторых, "вымывает" весь кэш.
Поэтому полагаться на кэш - это не очень хорошо.
Вы сказали, что вас мемкеш не работает ? Задумайтесь, ведь у всех работает, а у вас нет.
Что значит не работает?
Он у меня работает, только я сильно ограничил область его применения и его память. И это хорошо, сайты не должны работать быстро только потому что кэш есть.
Ручной кэш типа memcache - это дополнительная сложность при разработке.
Автоматический кэш типа буфера в mysql - это вымывание при создании отчетов.
Любой кэш - это потеря гибкости, и сложности когда кэш приходится очищать.
P.S.
Правильно расфасованные данные и быстрое хранилище - это намного лучше кэша.
ThePriest, тут дело не в размере, а в шаблоне использования. Я думаю, у вас далеко не стандартный сайт. Ну а если стандартный - памяти добавили бы лучше
Я не знаю что вы имеете в виду под стандартным сайтом, поэтому не могу сравнить.
У меня background скрипты постоянно дергают базу, пишут в нее.
Много данных вынесено из базы в redis - а так было бы еще больше чтения.
Память добавлять не вижу смысла. Дело не в памяти, и не в диске, а в проце.
Я уже начинаю кешировать вывод некоторых данных из-за того что cpu недостаточно быстро данные проворачивает.
В общем SSD в корне изменили подход к разработке.
Но ведь это как раз и означает, что вы уделили значительное внимание записи.
Даже на диске с логами записи на порядок меньше, чем чтения на диске с данными.
значит это большая бд тормозит как сеошная помойка. Это ни фига не норма.
1k запросов к базе в секунду и ничего не тормозит. Диск перестал быть узким местом после перехода на SSD. В Memcache уже мало что кэшируется, идет сразу запрос к базе.
Страницы открываются моментально.
P.S.
Бинарные логи пишутся на отдельный SSD.
На самом деле наоборот. За исключением специальных случаев (сеошная помойка, рОздача кин) на выделенном вебсервере операций записи больше чем чтения.
Как правило, владельцы озабочены быстрым ответом и оперативная память уже содержит весь рабочий набор данных. Изменения этого же рабочего набора постоянно пишутся на диск.
В случае больших БД чтение превышает запись обычно.
У меня вообще 4SSD В RAID 10 HW и Чё?
xD
Скорее всего это работает даже медленнее + надежность снижена (добавляется еще 1 железяка, которая может сломаться).
Спасибо за эту идею! Пока обдумываю, как это сделать. Судя по всему, не простая задача. Есть какая-то программа, которая может так делать, или всё вручную?
1. Делается sftp-only account на сервере http://solderintheveins.co.uk/2011/03/ubuntu-sftp-only-account-how-to/
2. Все бекапы складываются в его директорию в зашифрованном виде.
2. Бекап-хостинг - это должен быть vps или dedicated, по крону периодически забирает к себе бекапы.
Логиниться на сервер он должен через ssh без пароля.
Места должно быть с запасом, чтобы при копировании файлов не затирать предыдущую версию.
Это не сервер, это домашний комп, погруженный на стеллаж в ангаре, собранный студентами или приезжими индусами. На сервер оно совсем не тянет и стоит оно почти 60 евро + установочная плата 100 евро даже в том же hetzner...
С чего бы это?
Их предыдущие серверы отлично отрабатывали у меня годами, без эксцессов.
Пофиксят брак в новой линейке - можно будет заказывать новые.
Стоят они именно 50 евро в месяц + установка 84 евро:
http://ru.hetzner.com/hosting/produktmatrix/rootserver-produktmatrix-ex
Кстати за 50 евро / месяц без учета стоимости трафика серверное железо в Европе реально найти с такими характеристиками. Но не только железо нужно искать, а и нормальный ЦОД, нормальную связность.
Вот в Хетцнере и железо, и связность включены.
Да и зачем Вам 32 ГБ оперативки нужно при наличии SSD? Очень редко встречаю проекты, которые потребляют даже 16 ГБ памяти, даже при посещаемости много десятков тысяч хостов. В основном сейчас все клепают варезники, где 16 ГБ с головой, зачастую и 8 хватает. Вот только маркетинг делает чудеса.
Мне надо именно 32. Запущены in-memory базы - данные в памяти хранятся.
Вот сейчас в htop занято 20 гигов + файловый кеш. И я бы еще буфер в mysql увеличил.
Не важно, что каналы хреновые, не важно, что ЦОД - ангар с неумелыми студентами, важны красивые цифры и низкая цена. А то, что оно такое зачастую и не надо, что серверный вариант с менее красивыми цифрами будет эффективнее - об этом не думают.
Во-первых, каналы там хорошие. Открывается все моментально, без лагов.
Запущен внешний мониторинг раз в 1 минуту чекает - никаких падений.
Во-вторых, да, низкая цена важна. Я не люблю деньги на ветер выкидывать. И цифры в Munin мне тоже хочется видеть хорошие.
Серверный вариант я у них возьму как только они запустят новую линейку. Я готов лишние 15-20 евро за это отдавать :)
А цифры меньше меня не устроят - уже указал почему.
Извините, но если этот "сервер" вырубает как минимум раз в сутки, то он уже вне конкуренции, - мусорный вариант.
Согласен, неудачное железо подобрали, надеюсь пофиксят скоро.
Но замечу, мне повезло - попался сервачок, работает без перебоев, аптайм 23 дня. Так что при желании можно попробовать заказать, потестить, если падает - вернуть.
Хочу второй взять с ECC памятью когда обновят ex6.
В ovh вроде есть :)
Там объем SSD в 2 раза меньше.
Лучше бы они железо улучшили, чтоб память 3 раза подряд ошибки не давала, а не считали, как денег больше снять.
У них есть серверное железо с ECC памятью. Только оно пока на 100 Мбитах.
Вот его переводят на Гигабит.
hetzner надо новый слоган придумать - дорого и глупо. Сколько не читаю эту тему - не перестают удивлятся. Зачем таким пользоваться? Каковы причины? Нет нормальных ЦОДов?
Покажите сервер с 32G RAM и 2x240 SSD за 50 Евро.
С SSD есть одна проблемка: ее внезапная смерть. Или если не внезапная то очень странные сипмтомы. Может конечно это вопрос привычки к тому как умирают SATA, но мне более понятно подключить smart к нагиос чем неожиданные read-only кирпичи ssd.
И даже Media_Wearout_Indicator не подсказывает?
Не буду создавать тему, спрошу тут.
Кто как продлевает жизни SSD? под линуксом.
Я пока кроме того чтобы запретить кеш в хроме, ничего путного не нашел
noatime,discard