Странные зависания системы

12 3
K
На сайте с 05.07.2011
Offline
60
1609

Всем привет!

Тут проблема появилась, очень странная. Повторяется как на новых 10-ти машинках в ovh, так и на дедиках последнего поколения в hetzner-e.

Операционка - wheezy, на ovh их последнее кастомное ядро с grsec.

На серверах запускаются java приложения. Спустя какое-то время, при относительно небольшой нагрузке лоится вся система. На месте, в дата-центре проверяют: зависший экран с login, система на ввод с клавиатуры не отвечает.

В messages / daemon / kern логах никакой информации нет, словно отключалось электричество.

В логах java приложения, что просто паранормально, на момент падения добавляется разное количество точек с пробелами и рандомно из конфигов / старых логов выражения. Пример: http://d.pr/i/GSPf — сплошная необъяснимая наркомания.

В логах auth.log и syslog тоже замечены точки с пробелами: http://d.pr/i/oiNb

Мне никак не получается объяснить такое поведение серверов и операционных систем.

Грешить на железяку? Когда на 14 дедиках повторяется одно и то же, причем, дедики у разных провайдеров берутся.

Грешить на операционную систему? Хрен знает, ядра же разные.

На Java приложение? Тоже вряд ли, ведь каждая отдельная JVM — это песочница. И да, такое повторяется даже из под пользователя на системе с ядром grsec.

Может, у кого-нибудь будут еще идеи. Заранее спасибо :)

Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#1

На счет точек ничего не скажу, но вот такие вот зависания системы как вы говорите я ловил при следующих случаях:

1) Включенное ACPI.

2) Недостаточное количество питания. (Например в тачке много винтов и в момент какого-то всплеска их активности просто виснет тачка, причем именно виснет, а не отключается... как-то так).

3) Перегрев.

Мой вопрос к вам заключается в следующем: Эти 14 серверов о которых идет речь, они как появились ? Все одним днем ? или вы сперва взяли 1 много лет назад , потом еще и еще и сейчас их 14 и есть проблема? Либо же с момента первого сервера проблема? Потому как действительно на таком количестве + разных ядрах выглядит весьма странно, хотя не буду удивлен если это Java уничтожает так сервер .... имел когда-то дело с Tomcat... так ему и 30 гиг памяти это тьфу.... а каталина это ваще зло :D

Есть около 15.000 ipv4 !!! (http://onyx.net.ua/price.php#ipv4) Качественный хостинг с 2005 года - лучшее клиентам! (http://onyx.net.ua/)
N
На сайте с 06.05.2007
Offline
419
#2
kDas:
На Java приложение? Тоже вряд ли, ведь каждая отдельная JVM — это песочница. И да, такое повторяется даже из под пользователя на системе с ядром grsec.

И какое из этих слов помешает приложению использовать ресурсы так интенсивно, что будет казаться будто сервер вообще ни на что не отвечает?

Попробуйте мониторинг производительности наладить. Такие зависания не происходят одномоментно, им должен предшествовать рост хоть каких-нибудь параметров.

Даже если дело не в нагрузке, при любой причине лишним мониторинг не будет.

Файловая система какая? какие-то особенные настройки монтирования используются?

Впрочем, разрушение файлов логов может быть вызвано способом приведения в жизнь такого сервера . Похоже, эти "точки" - нулевые байты.

Кнопка вызова админа ()
servercraft
На сайте с 03.07.2013
Offline
8
#3

насчет hetzner - возможно проблемы bios/ram, попросите обновить биос

http://www.webhostingtalk.com/showpost.php?p=8785162&postcount=125

http://serverсraft.com.ua (http://servercraft.com.ua) настраиваем сервера, удаляем вирусы с сайтов
K
На сайте с 05.07.2011
Offline
60
#4

Привет!

Romka_Kharkov:
На счет точек ничего не скажу, но вот такие вот зависания системы как вы говорите я ловил при следующих случаях:

1) Включенное ACPI.
2) Недостаточное количество питания. (Например в тачке много винтов и в момент какого-то всплеска их активности просто виснет тачка, причем именно виснет, а не отключается... как-то так).
3) Перегрев.

Мой вопрос к вам заключается в следующем: Эти 14 серверов о которых идет речь, они как появились ? Все одним днем ? или вы сперва взяли 1 много лет назад , потом еще и еще и сейчас их 14 и есть проблема? Либо же с момента первого сервера проблема? Потому как действительно на таком количестве + разных ядрах выглядит весьма странно, хотя не буду удивлен если это Java уничтожает так сервер .... имел когда-то дело с Tomcat... так ему и 30 гиг памяти это тьфу.... а каталина это ваще зло :D

Сервера стояли 12 дней без нагрузки — было всё ок. Как нагрузка стала появляться — началось.

Хрен вот знает, не заметил там перегрева. Кстати, по питанию тоже вряд ли. Полтора десятков таких серверов на гораздо большей нагрузке себя ок чувствуют. :)

netwind:
И какое из этих слов помешает приложению использовать ресурсы так интенсивно, что будет казаться будто сервер вообще ни на что не отвечает?

Попробуйте мониторинг производительности наладить. Такие зависания не происходят одномоментно, им должен предшествовать рост хоть каких-нибудь параметров.
Даже если дело не в нагрузке, при любой причине лишним мониторинг не будет.

Файловая система какая? какие-то особенные настройки монтирования используются?
Впрочем, разрушение файлов логов может быть вызвано способом приведения в жизнь такого сервера . Похоже, эти "точки" - нулевые байты.

http://d.pr/i/qMTL+ вт пример нагрузки и падений. :)

servercraft:
насчет hetzner - возможно проблемы bios/ram, попросите обновить биос
http://www.webhostingtalk.com/showpost.php?p=8785162&postcount=125

Если бы только там это повторялось.. :)

N
На сайте с 06.05.2007
Offline
419
#5
kDas:
http://d.pr/i/qMTL+ вт пример нагрузки и падений.

Я не обещал, что по одному графику отгадаю причину, а пытаюсь предложить вам направление размышлений. Этого не достаточно, но видно, что одному зависанию предшествует краткий период 100% нагрузки на процессор.

Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#6
kDas:
Привет!



Сервера стояли 12 дней без нагрузки — было всё ок. Как нагрузка стала появляться — началось.

Хрен вот знает, не заметил там перегрева. Кстати, по питанию тоже вряд ли. Полтора десятков таких серверов на гораздо большей нагрузке себя ок чувствуют. :)

Т.е вы их таки приобрели в одно время.... ????

Если так .... тогда имеет смысл смотреть на железо, может быть там из одной партии битая память .... или Матеря глючные какие-то.... тут уже ядро не ядро... будет виснуть....

M
На сайте с 24.10.2011
Offline
173
#7

Romka_Kharkov, прямо так из одной партии в двух разных странах?

iamsens
На сайте с 26.08.2009
Offline
115
#8

это ж говнохост хецнер, зачем тут играться или искать причину, заменили сервер да и всё

M
На сайте с 24.10.2011
Offline
173
#9
iamsens:
это ж говнохост хецнер, зачем тут играться или искать причину, заменили сервер да и всё

а внимательно почитать? не только хетцнер

Den73
На сайте с 26.06.2010
Offline
523
#10

у меня в ovh зависал 1 свой сервер, первым делом вернул ядро родное т.к было свое, не помогло потом начал думать какие настройки могут влиять, в итоге выяснилось то что зависания происходили из за того что я частоту процессора в потолок поднимал автоматически при старте, было 3.41ггц, выставил 3ггц и зависания прекратились.

аналогично наблюдал как клиентские сервера зависают, ради интереса посмотрел там тоже частота до предела поднята но режим стоит энергосберегающий (должно быть 1600), причем попытки понизить штатными средствами не к чему не приводили, в rescue загружался там все в норме 1600мггц.

пока некогда разбираться, так что обратите на это внимание возможно у вас аналогичная проблема.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий