myhand

Рейтинг
278
Регистрация
16.09.2009
Raistlin:
myhand, Не всегда. Прежде всего это мода, сейчас 90% людей кричат "ставь джинкс" на ЛЮБУЮ нехватку памяти.

В контексте обычны веб-приложений - всегда.

Raistlin:
Если там диски тормозят и заполняют память, к примеру, процессы php, т.к. ждут данных от скуля?

Ждете панацеи от всех болезней? Устранили одно узкое место (универсальное!) - уже хорошо.

помогает не nginx, помогает то, что он стоит перед апачем

netwind:
в каких именно спецификациях и кто рекомендует проверку массива раз в месяц и почему именно раз в месяц?

В спецификациях дисков (всякие BER, UBE, URE).

Что касается частоты - не думаю, что есть универсальные рекоммендации. Некоторые контроллеры запускают подобные проверки практически неприрывно (напр, вот: http://support.dell.com/support/edocs/software/svradmin/5.1/en/omss_ug/html/cntkpatm.html).

netwind:
Вообще, дебиану уже тыща лет, а о проверке задумались только в 2007 с выходом etch. В centos/rhel еще более затянули.

Вы бы задумались не о том, что для проверки сделали стандартный кронтаб - а о том, когда сама возможность проверки появилась (2005? позже?). Кому положено - помнили и использовали все это куда раньше, чем сделали умолчанием в каком-либо дистрибутиве.

netwind:
Как же оно раньше все работало ?

С чего вы взяли, что оно "работало"? Вы ждете, что вам сразу волшебная фея прилетит и расскажет, что данные в каком-то секторе вообще "тю-тю".

Кроме того, раньше диски были меньше.

netwind:
Мне совершенно очевидно, что политика дистрибутива задает мнение большинства его пользователей.

Далеко не все пользователи mdadm в дебиан вообще знают о существовании проверки. Я уж не говорю про том, чтобы "иметь мнение".

Для энтерпрайзнутого RHEL (и его нищебродских копий) - ситуация, наверное, еще хуже.

Boris A Dolgov:
Читайте внимательнее -- "leacky bucket" как раз придерживает соединение в некоторой очереди, пока не будут обработаны другие соединения для этого сайта.

Я просто не понимаю о какой очереди идет речь. Если "leacky bucket" работает уже после того, как апач начал обрабатывать запрос и понял для какого он хоста/пользователя - это вроде как уже бессмысленно. Там все просто, никакой очереди: либо работаем нормально, либо отфутболиваем с каким-нибудь 503.

Видимо, вы о том что в подобной ситуации что-то типа leacky bucket в апаче работает на этапе принятия соединения. Там ничего не известно про виртуальный хост, так что действительно все общее. Не решить это, наверно, одним вебсервером.

Boris A Dolgov:
Т.е. перекидывать запросы между процессами апача?

Ну, грубо говоря - да. Собственно, и itk ведет себя как ведет - именно по аналогичной причине.

netwind:
Dram, это характерно для нового дебиана.

Это было в debian тыщу лет. Да и не только в нем, что тоже написали выше.

Не врите так.

netwind:
до этого большинство пользователей raid даже не подозревало, что массив нужно проверять.

Мнение "большинства" - в технике иррелевантно. Тем более, непонятно какого большинства, взятого с потолка.

netwind:
мало кто сможет аргументировать статистикой нормально (то есть является ли действительно стандартной практикой для подавляющего большинства raid-массивов) это или нет. я не берусь.

Нормально аргументировать что? Появление нечитаемых секторов на дисках? Ну загляните в спецификации, там все указано.

Спешите видеть: netwind против бородатых программистов, реализующих всякие read patrol вообще и авторов md raid в частности :)

Dram:
Не - по сайтам ничего не видно, ничего не тормозит, просто LA поднимается...

Ну вот, видите. Все как доктор прописал.

Dram:
Написал вопрос хостеру FastVPS, типа кто/что запускает проверку, они отвечают:
Давайте проверим ФС дисков? Но потребуется даунтайм до 2х часов. Возможно, из-за ошибок в ФС идет рассинхронизация массива.

Кстати, подобные даунтаймы на пустом месте (если нет ошибок) - запросто можно избежать (LVM).

netwind:
myhand, не вижу ни одного опровергающего суть мыслей утверждения.

Опровергать бездоказательные утверждения мне не интересно.

Dram:
Спасибо, т.е. это нормально для Дебиана, так и должно проверяться раз в месяц?

Запуск проверки - да, это нормально.

А вот какой-то негативный эффект от нее - нет, не нормально. Если проверка действительно мешает (не просто "LA подскочил") - см. выше рекоммендации.

netwind:
Но ведь мешает.

Мне не мешает.

netwind:
Проблема в том, что иногда нельзя настроить нормально в вашем понимании, если ресурсы IO на пределе и любая дополнительная активность выводит сервер из равновесия. Хорошо иметь запас ресурсов для равновесия, но накладно.

Если вы думаете, что клиенты других балуют простаивающими ресурсами - это наивно. Все экономят на чем можно.

Первый момент, на который иногда имеет смысл обратить внимание (для raid5, например) - изменить приоритет CPU шедулера. Дебиановский скрипт в stable - это не делает. В sid - уже научился.

Второй момент - делать проверку инкрементами, запускать на небольшой период, но делать это почаще. Есть простые патчи для дебиан.

Третий момент - еще какие-то IO-интенсивные задачи, например, бекап. Обычно есть возможность разнести их во времени и это имеет смысл.

netwind:
Тут надо или памяти добавлять или дисков, но выгоднее ограничить скорость проверки и поставить выполняться эту проверку пореже.

Скорость ограничивает не только проверку - но и ребилд. Об этом надо, по меньшей мере, помнить.

Что касается "пореже": ИМХО, и раз в месяц это редко. Особенно для современных терабайтников.

Boris A Dolgov:
Это не имеет смысла -- создание одного узкого места искуственно ведёт к проблемам в других местах. Например, если мы настроим для виртхоста обработку запросов через leacky bucket, то у нас может переполниться backlog.

Почему "искуственно ведет"? Не настроим - не приведет что-ли? Backlog переполнится еще быстрее, если мы не будем быстро принимать запрос к обработке и решать отпинать-ли его с 503 какой-нибудь или обработать нормально.

backlog - он же для всех, по определению. Там все-равно нельзя лимитировать нагрузку для конкретного виртуалхоста.

Boris A Dolgov:
Поэтому сейчас они исследуют новую возможность -- выставлять большие лимиты и запускать специальный демон, который будет следить за потреблением ресурсов и применять санкции к пользователям, которые потребляют слишком много. Напоминает парсинг bsd accounting, да? :)

Ага, напоминает пачку подобных велосипедов, из тех которых видел. И еще большую - из тех, о которых слышал. Ничего нового в этой идее вроде нет (за исключением новых механизмов), так что я бы не мечтал о том, что в результате получится что-то удачное.

Boris A Dolgov:
Нано актуально только в России, а cloud -- везде.

В любом случае, на название проекта много фантазии не потрачено ;)

Boris A Dolgov:
На самом деле весь пук заключается в том, что это готовое, поддерживаемое и относительно работающее решение.

Ну, эт маркетинг.

Boris A Dolgov:
mod_cgroup не изучал подробно, но беглый взгляд на исходники говорит, что процесс совсем легко может выйти из своей группы.

Не смотрел пока на модуль подробно - не знаю насколько это фатально связано с его дизайном. Больше похоже на детскую болезнь.

Boris A Dolgov:
Тут как раз идеи из горячо обсуждаемого mpm-itk подойдут -- не давать процессу покинуть cgroup, а только умереть, но это большая дыра в производительности.

Почему? Я так понимаю, трудность в другом - найти кому дать следующий реквест обработать.

Andreyka:
Это не проверка ФС, а синхронизация программного рейда.

Это проверка программного рейда. Посмотри в словаре слово check, пожалуйста.

Dram:
показывает что идет какая то проверка...

Проверка рейд запускается периодически - смотрите кронтабы. В debian сейчас - раз в месяц (расписание в /etc/cron.d/mdadm), в RHEL - раз в две недели, если правильно помню.

Это не должно мешать работе нормально настроенного сервера.

Andreyka:
Узнать о состоянии дисков поможет SMART.

SMART тесты тоже полезно запускать периодически (man smartd). Иначе актуальность метрик SMART будет под большим вопросом.

stepan007:
vm.swappiness
Сейчас стоит 10, раньше стоял 0. В обоих случаях данные сгружаются в swap.

sysctl -a |grep ^vm

покажите.

Всего: 4890