Постоянно падают сервисы на сервере.

rightinpoint
На сайте с 08.06.2006
Offline
96
927

На сервере (FreeBSD 5.5 + WHM) ежедневно падают сервисы. Первым обычно вылетает MySQL, потом WHM/Cpanel, еще спустя некоторое время SSH и Apache, сервер тем не менее продолжает пинговаться, DNS вроде не вылетает вообще.

До этого было 1 или 2 падения за год. Потом добавил кучу сателитов, для удобства каждому сателиту дал свой CPanel эккаунт, теперь их там около 200-300. Загрузка проца в среднем ниже 50%.

Один раз увидел где-то ошибку

Internal Server Error

open3: pipe(GLOB(0x89f2d78), GLOB(0x893cafc)) failed: Too many open files in system at cpsrvd-ssl.pl line 4847

После гугления нашел возможную причину - увеличить kern.maxfiles. Было 10000, в /etc/sysctl.conf поставил kern.maxfiles=30000, однако после ребута sysctl kern.maxfiles выводит kern.maxfiles: 12328

Подумывал насчет переехать на более мощный сервер, но вроде и у этого проца и памяти хватает с головой, да и перенос такого количества эккаунтов будет гемороем еще тем. Если бы решить проблему со стабильностью еще полгодика можно было бы и на старом сервере перекантоваться.

С супортом бодаюсь уже недели две, все эти две недели сервер падает ежедневно, еще немного и от злости смогу кипятить воду усилием воли :fire: Делали проверку железа, вроде винты\память не сбоят. И ДНС не падает + сервер пингуется - похоже на софтовую проблему.

Кто-нибуть может подсказать, в какую сторону копать?

Заранее спасибо.

Домены, траву и презервативы советую брать у надежных поставщиков. Например, у меня :) Подписывайтесь на обновления -- ЯК (/ru/forum/830626), скрытый ЯК (/ru/forum/830669), тиц (/ru/forum/830671), по запросу подберу тиц 100+
_
На сайте с 24.03.2008
Offline
353
#1

Похоже лимит открытых файлов у вас исчерпан.

В эту сторону рыли как вижу, почему не до конца ?

(мониторинг количества уже использованных итп)

rightinpoint
На сайте с 08.06.2006
Offline
96
#2

пытался рыть, но не особо успешно. увеличил в /etc/sysctl.conf kern.maxfiles=30000, но после загрузки почему то выставилось другое значение. Где-то в другом месте надо менять?

_
На сайте с 24.03.2008
Offline
353
#3

Тут к сожалению не подскажу. По гуглу вагон инфы...

Яб сосредоточился на проверке того, сколько их УЖЕ использовано, чтобы быть уверенным что дело в них.

Andreyka
На сайте с 19.02.2005
Offline
822
#4

Надо нанять независимого специалиста

У большинства саппорта одна политика - втюхать сервер подороже

Не стоит плодить сущности без необходимости
kxk
На сайте с 30.01.2005
Offline
972
kxk
#5

rightinpoint, Выкинуть старую Freebsd это во-первых

Во-вторых согласен с Андреем, нанимать независимого специалиста

Ваш DEVOPS
rightinpoint
На сайте с 08.06.2006
Offline
96
#6

Ок, спасибо за совет.

В логах еще нашел такую строку (примерно в то время, когда в последний раз сервисы начали падать)

May 15 00:52:16 server kernel: pid 6350 (httpd), uid 65534: exited on signal 11

и после этого много раз (примерно каждые 15-30 секунд)

00:57:24 server kernel: pid 6189 (httpd), uid 65534: exited on signal 6

Погуглил, signal 11 - segmentation fault error - может сервер кто-то хачить пытается и снимает мне сервисы?

qwartyr
На сайте с 19.10.2007
Offline
40
#7

поставьте monit - будет перезапускать автоматом падающие сервисы.

поставьте munin - чтобы собирал инфу о нагрузке сервера, может у вас проблемы со свободной памятью ?

профессиональное администрирование серверов (http://www.unixsupport.ru) отзывы (http://www.free-lance.ru/users/qwartyr/opinions/) на free-lance.ru
V
На сайте с 05.08.2007
Offline
87
#8
rightinpoint:

С супортом бодаюсь уже недели две, все эти две недели сервер падает ежедневно,

- Просите сапорт еще раз проверить память, и, если возможно, заменить.

- Диски... Судя по версии ОС, диски вполне могут быть без SMART, поэтому проверьте целостность файловой системы fsck и наличие bad block-ов с помощью dd:

dd if=/dev/adX of=/dev/null bs=1m

Если бедблоки - срочно архив и переезд...

С уважением, Victor (http://adm-lib.ru)
rightinpoint
На сайте с 08.06.2006
Offline
96
#9

вроде нашел причину - webalizer по непонятым причинам открывал дофигища файлов и запускался одновременно для всех эккаунтов. Отключил всю статистику нафиг и увеличил лимит для файлов - посмотрю, как дальше сервер себя будет вести, если что перееду - серверу уже два года, пожалуй пора менять на что-то посвежее.

Всем спасибо за советы, буду надеятся, что тема закрыта :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий