под фрей работает очень точно, под линухом есть некоторые вопросы.
А вот систем умеющих как то учитывать дисковую нагрузку имхо пока нет.
Я знаю о sa :) Работает примерно на базе него.
Boris A Dolgov добавил 18.04.2010 в 10:22
edogs: Первое что должна делать такая система, это сообщать "завтра на сайт прийдет сумашедший мсн бот без задержек, а так же одновременно с ним заглянет яндекс, в связи с чем нагрузка превысит допустимый предел и сайт будет отключен".
Смешно? На самом деле нет. Потому что сайт вырубается как раз именно в такие моменты, в пиковые и малопредсказуемые. Сидим мы смотрим как нагрузка растет от 1 до 4% постепенно, спим спокойно, а потом slashdot - 16% и опять же - неожиданная смерть сайта. При чем ключевое слово здесь то, что это именно внезапная смерть. Поэтому система мониторинга как таковая особо не спасет.
Опять же, Вы тут выше упоминает php-cgi и т.д., что наводит на мысль о том, что нагрузку мускула оно мерять не будет. А ведь есть не только мускул. А если так, то теряется смысл такой тулзы полностью.
Более того, на hostobzor.ru на который Вы ссылаетесь, неоднократно высказывалась мысль о том, что адекватная и полноценная система мониторинга для вирт.хостинга будет дороже, чем организация вдс, поэтому смысла в ней нет. Вы изобрели что-то опровергающее это мнение?
И напоследок чутка позитива. Сделайте систему которая будет включать сайт после ухода с него нагрузки превышающей допустимые лимиты. Это была бы мегабодрая штука. Т.к. если понять внезапное выключение сайта еще как-то можно, то вот понять почему его не включают назад, сверх понимания обычного, нормального человека.
Мне кажется, Вы немного не так понимаете то, что делает система аккаунтинга :) Она не занимается отключением сайта при первышении им лимита. Она записывает это, уведомляет, и, если превышения - стабильны, то предлагает сменить тариф. Так же позволяет клиенту смотреть, как росла нагрузка - плавно с ростом посещаемости, резко с включением какого-либо модуля, и так далее.
Если и будет автоотключение, то, наверно, только для критических случаев вроде 400%cpu с автовозвращением через час-два.
На данный момент - действительно, только php-cgi/mpm-itk, потому что используется bsd accounting. Однако, есть способ снимать и mysql, и mod_php, и посайтовую статистику, и даже топ5 самых грузящих url. Вопрос в том, надо ли это кому-то. На ХО я увидел достаточно мало желающих, тут - больше :)
Boris A Dolgov добавил 18.04.2010 в 10:24
Analitic82: Как вариант, выключение на 10 минут, если после этого опять превышение, увеличение до 30 мин, далее до часу и т.д.. Можно сделать определенное количество включений, за определенный промежуток времени. Пример, система блокировки IP в CSF, в начале несколько раз, на короткий промежуток времени, далее уже на сутки. Также, хотелось бы функционал информирования клиента о ситуации на реквизиты (icq, mail, jabber, sms)
Никого не нужно отключать - ведь от этого появляются клиенты, а недовольные клиенты - это плохо для хостера :) Думаю, хостеры имеют сервера, которые в состоянии выдержать превышение в два раза нагрузки парой сайтов.
Boris A Dolgov добавил 18.04.2010 в 10:26
Pavel.Odintsov: А почему в сослагательном наклонении? :) У нас, например, такая система (память, процессор, ввод-выод, mysql) есть и в ближайшее время после подобающего тестирования будет предоставлена клиентам (сейчас же используется лишь для внутреннего мониторинга).
Насколько я понимаю, у Вас это - для впс? У меня - для шареда.
Pavel.Odintsov:
Под linux есть :)
Не для 2.6.18 от редхет :(
Boris A Dolgov добавил 18.04.2010 в 10:32
Sergix: Вот это было бы круто, имхо
И вот вопрос вопросов - определить источник нагрузки и его изолировать
Да, это действительно - сложный вопрос. Вчера обсуждал это с основым идейным вдохновителем :)
Что нужно, чтобы понять, откуда берется нагрузка?
имя сайта+время? совсем не точно.
запрос? даже зная запрос, сложно понять, что именно нагружает.
запускаемый скрипт? опять же, в большинстве случаев мы получим site.ru/index.php.
тяжелые mysql-запросы? человеку, который не сильно разбирается во внутреннем устройстве своей cms, это ничего не даст.
результат профайлинга клиентского скрипта? слишком накладно по производительности и совсем не универсально.
ShadowHacker: Идея конечно не плохая .. Надеюсь что скоро выйдет сие чудо в свет но тогда многие хостеры будут плакать )
Систему должны будут ставить самы хостеры. Планируется итеграция в виде плагина в ISPmanager/DirectAdmin/cPanel/Plesk.
Админская часть (которая показывает все это для хостера) уже написана. Хочется мнений о юзерской части.
Boris A Dolgov добавил 17.04.2010 в 11:06
Sergix: Да, только два графика, поэтому я и говорю, что есть варианты для улучшения (первый в очереди на бесплатное тестирование))))
При наведении на точку показывает точное значение - средняя нагрузка за 5 минут на суточном графике
например
Memory - (left axis) used 111.00 on 2010/04/16 23:38:48
CPU - (right axis) used 0.12 on 2010/04/16 23:38:48
аналогично на месячном графике
Memory - (left axis) used 94.00 on 2010/04/16
CPU - (right axis) used 0.12 on 2010/04/16
Чего не хватает для меня лично - разбивка по сайтам - который из них жрет больше положенного)) а там уже можно разобраться, что именно косячит
Спасибо за мнение :) В бета-версии разбивка по сайтам врядли будет, в полноценной - будет скорее всего.
eugene-last: Нагрузка если ее контролирует хостер, должна быть и для клиента!
Да, это понятно :) Поэтому и спрашиваю, что клиенту нужно.
Boris A Dolgov добавил 17.04.2010 в 10:29
Raistlin: Эээм... А что за продукт? =). Очень надо =)
Пока продукта нет. Скорее всего, примерно через месяц будет бета-тест первого варианта, чтобы протестировать юзабилити. Работает пока только с php-cgi или mpm-itk. Если хотите участвовать - пишите на boris@dolgov.name вашу ОС (название, версию ядра) и панель. Вообще, тема на ХО - http://forum.hostobzor.ru/index.php?showtopic=14795, правда, в закрытом разделе. Регистрируйтесь, присоединяйтесь :)
Boris A Dolgov добавил 17.04.2010 в 10:32
Sergix: Мне кажется, стоит подсмотреть у буржуев (далее не в качестве рекламы, а из личного опыта)
На дримхосте че-то близкое уже реализовано - когда сайты на аккаунте начинают пожирать больше ресурсов, чем задумано, они автоматом переводят на PS - personal server (во всяком случае, меня перевели, сообщив, что какие мы хорошие - не стали отрубать, а даем вам инструмент - контролируйте и пользуйтесь)))
на PS уже сам определяешь сколько нужно ресурсов - за 15 баксов они гарантируют 300 мб выделенной памяти. Guaranteed 300 MB for $15.00/month. Если нужно больше, увеличиваешь - бакс за 20 Мб. максимум Guaranteed 4000 MB for $200.00/month.
Соответственно, на графике видно потребление памяти и процессора за день и за месяц. Не хватает разве что разделения нагрузки по сайтам - у вас, я так понимаю, такое сделать возможно... На графике кстати видно - у меня на нескольких сайтах перестало как надо работать кэширование. Пока в рамках заданного предела памяти это не страшно)))
Спасибо за совет, сделано весьма интересно. А даются только два графика, или есть возможность делать выборки? Как часто обновляется информация на суточном графике? Есть что-то, чего не хватает?
Я бы поделил на домены и домены+шаред+впс+дедики.
sa + mrtg = $$$! Profit!
Вы будете писать об этом в каждой теме? :)
На ХО я уже доказал и показал, что это - не то, что нужно.
man sa
под фрей работает очень точно, под линухом есть некоторые вопросы.
А вот систем умеющих как то учитывать дисковую нагрузку имхо пока нет.
Я знаю о sa :) Работает примерно на базе него.
Boris A Dolgov добавил 18.04.2010 в 10:22
Первое что должна делать такая система, это сообщать "завтра на сайт прийдет сумашедший мсн бот без задержек, а так же одновременно с ним заглянет яндекс, в связи с чем нагрузка превысит допустимый предел и сайт будет отключен".
Смешно? На самом деле нет. Потому что сайт вырубается как раз именно в такие моменты, в пиковые и малопредсказуемые. Сидим мы смотрим как нагрузка растет от 1 до 4% постепенно, спим спокойно, а потом slashdot - 16% и опять же - неожиданная смерть сайта. При чем ключевое слово здесь то, что это именно внезапная смерть. Поэтому система мониторинга как таковая особо не спасет.
Опять же, Вы тут выше упоминает php-cgi и т.д., что наводит на мысль о том, что нагрузку мускула оно мерять не будет. А ведь есть не только мускул. А если так, то теряется смысл такой тулзы полностью.
Более того, на hostobzor.ru на который Вы ссылаетесь, неоднократно высказывалась мысль о том, что адекватная и полноценная система мониторинга для вирт.хостинга будет дороже, чем организация вдс, поэтому смысла в ней нет. Вы изобрели что-то опровергающее это мнение?
И напоследок чутка позитива. Сделайте систему которая будет включать сайт после ухода с него нагрузки превышающей допустимые лимиты. Это была бы мегабодрая штука. Т.к. если понять внезапное выключение сайта еще как-то можно, то вот понять почему его не включают назад, сверх понимания обычного, нормального человека.
Мне кажется, Вы немного не так понимаете то, что делает система аккаунтинга :) Она не занимается отключением сайта при первышении им лимита. Она записывает это, уведомляет, и, если превышения - стабильны, то предлагает сменить тариф. Так же позволяет клиенту смотреть, как росла нагрузка - плавно с ростом посещаемости, резко с включением какого-либо модуля, и так далее.
Если и будет автоотключение, то, наверно, только для критических случаев вроде 400%cpu с автовозвращением через час-два.
На данный момент - действительно, только php-cgi/mpm-itk, потому что используется bsd accounting. Однако, есть способ снимать и mysql, и mod_php, и посайтовую статистику, и даже топ5 самых грузящих url. Вопрос в том, надо ли это кому-то. На ХО я увидел достаточно мало желающих, тут - больше :)
Boris A Dolgov добавил 18.04.2010 в 10:24
Как вариант, выключение на 10 минут, если после этого опять превышение, увеличение до 30 мин, далее до часу и т.д.. Можно сделать определенное количество включений, за определенный промежуток времени. Пример, система блокировки IP в CSF, в начале несколько раз, на короткий промежуток времени, далее уже на сутки. Также, хотелось бы функционал информирования клиента о ситуации на реквизиты (icq, mail, jabber, sms)
Никого не нужно отключать - ведь от этого появляются клиенты, а недовольные клиенты - это плохо для хостера :) Думаю, хостеры имеют сервера, которые в состоянии выдержать превышение в два раза нагрузки парой сайтов.
Boris A Dolgov добавил 18.04.2010 в 10:26
А почему в сослагательном наклонении? :) У нас, например, такая система (память, процессор, ввод-выод, mysql) есть и в ближайшее время после подобающего тестирования будет предоставлена клиентам (сейчас же используется лишь для внутреннего мониторинга).
Насколько я понимаю, у Вас это - для впс? У меня - для шареда.
Под linux есть :)
Не для 2.6.18 от редхет :(
Boris A Dolgov добавил 18.04.2010 в 10:32
Вот это было бы круто, имхо
И вот вопрос вопросов - определить источник нагрузки и его изолировать
Да, это действительно - сложный вопрос. Вчера обсуждал это с основым идейным вдохновителем :)
Что нужно, чтобы понять, откуда берется нагрузка?
имя сайта+время? совсем не точно.
запрос? даже зная запрос, сложно понять, что именно нагружает.
запускаемый скрипт? опять же, в большинстве случаев мы получим site.ru/index.php.
тяжелые mysql-запросы? человеку, который не сильно разбирается во внутреннем устройстве своей cms, это ничего не даст.
результат профайлинга клиентского скрипта? слишком накладно по производительности и совсем не универсально.
Идея конечно не плохая .. Надеюсь что скоро выйдет сие чудо в свет но тогда многие хостеры будут плакать )
Систему должны будут ставить самы хостеры. Планируется итеграция в виде плагина в ISPmanager/DirectAdmin/cPanel/Plesk.
Админская часть (которая показывает все это для хостера) уже написана. Хочется мнений о юзерской части.
Boris A Dolgov добавил 17.04.2010 в 11:06
Да, только два графика, поэтому я и говорю, что есть варианты для улучшения (первый в очереди на бесплатное тестирование))))
При наведении на точку показывает точное значение - средняя нагрузка за 5 минут на суточном графике
например
Memory - (left axis) used 111.00 on 2010/04/16 23:38:48
CPU - (right axis) used 0.12 on 2010/04/16 23:38:48
аналогично на месячном графике
Memory - (left axis) used 94.00 on 2010/04/16
CPU - (right axis) used 0.12 on 2010/04/16
Чего не хватает для меня лично - разбивка по сайтам - который из них жрет больше положенного)) а там уже можно разобраться, что именно косячит
Спасибо за мнение :) В бета-версии разбивка по сайтам врядли будет, в полноценной - будет скорее всего.
Нагрузка если ее контролирует хостер, должна быть и для клиента!
Да, это понятно :) Поэтому и спрашиваю, что клиенту нужно.
Boris A Dolgov добавил 17.04.2010 в 10:29
Эээм... А что за продукт? =). Очень надо =)
Пока продукта нет. Скорее всего, примерно через месяц будет бета-тест первого варианта, чтобы протестировать юзабилити. Работает пока только с php-cgi или mpm-itk. Если хотите участвовать - пишите на boris@dolgov.name вашу ОС (название, версию ядра) и панель. Вообще, тема на ХО - http://forum.hostobzor.ru/index.php?showtopic=14795, правда, в закрытом разделе. Регистрируйтесь, присоединяйтесь :)
Boris A Dolgov добавил 17.04.2010 в 10:32
Мне кажется, стоит подсмотреть у буржуев (далее не в качестве рекламы, а из личного опыта)
На дримхосте че-то близкое уже реализовано - когда сайты на аккаунте начинают пожирать больше ресурсов, чем задумано, они автоматом переводят на PS - personal server (во всяком случае, меня перевели, сообщив, что какие мы хорошие - не стали отрубать, а даем вам инструмент - контролируйте и пользуйтесь)))
на PS уже сам определяешь сколько нужно ресурсов - за 15 баксов они гарантируют 300 мб выделенной памяти. Guaranteed 300 MB for $15.00/month. Если нужно больше, увеличиваешь - бакс за 20 Мб. максимум Guaranteed 4000 MB for $200.00/month.
Соответственно, на графике видно потребление памяти и процессора за день и за месяц. Не хватает разве что разделения нагрузки по сайтам - у вас, я так понимаю, такое сделать возможно... На графике кстати видно - у меня на нескольких сайтах перестало как надо работать кэширование. Пока в рамках заданного предела памяти это не страшно)))
Спасибо за совет, сделано весьма интересно. А даются только два графика, или есть возможность делать выборки? Как часто обновляется информация на суточном графике? Есть что-то, чего не хватает?
Опрос примерно в 100500 раз.
А еще есть вариант - http://habrahabr.ru/ppg/
Галочка напротив каждого пункта и 5 секунд до активации следующей галочки.
Есть панель? Какая ОС?
find . -type f | while read fname; do
mv $fname $fname.old
sed 's|</body>|blablabla</body>|g' $fname.old > $fname;
#rm $fname.old #если не нужен бекап
done
В этом я согласен, у самого более 10000 зарегистрированных пользователей, и рассылка занимает от 5-7 часов стандартно.
Ну, в основном я говорил не о том, что не сделали рассылку, а о том, что в личном кабинете опровергли информацию об отключении.