Форум Сайтостроение Администрирование серверов

Памяти много а oom-killer работает

12
G2
На сайте с 25.04.2008
Offline
138
grey2
6274

Я памяти прибавляю а киррер всё равно убивает процессы. в логах out of socket memory. по socket я и в sysctl tcp_mem прибавил, но как вижу не помогло. почему так? вот полный лог: 

     0             0 mingetty

          0 sshd

Dec 14 10:51:20 myserver kernel: [12082]   498 12082    12767    10997   2                                  0             0 nginx

Dec 14 10:51:20 myserver kernel: [12085]   498 12085    12271    10483   1                                  0             0 nginx

Dec 14 10:51:20 myserver kernel: [12087]   498 12087    10543     8822   0                                  0             0 nginx

Dec 14 10:51:20 myserver kernel: Out of memory: Kill process 12082 (nginx) s                           core 14 or sacrifice child

Dec 14 10:51:20 myserver kernel: Killed process 12082, UID 498, (nginx) tota                           l-vm:51068kB, anon-rss:43200kB, file-rss:788kB

Dec 14 10:51:22 myserver kernel: __ratelimit: 3 callbacks suppressed

Dec 14 10:51:24 myserver kernel: nginx invoked oom-killer: gfp_mask=0xd0, or                           der=0, oom_adj=0, oom_score_adj=0

Dec 14 10:51:24 myserver kernel: nginx cpuset=/ mems_allowed=0

Dec 14 10:51:24 myserver kernel: Pid: 12085, comm: nginx Not tainted 2.6.32-                           431.1.2.0.1.el6.i686 #1

Dec 14 10:51:24 myserver kernel: Call Trace:

Dec 14 10:51:24 myserver kernel: [<c04ec6c4>] ? dump_header+0x84/0x190

Dec 14 10:51:24 myserver kernel: [<c04eca68>] ? oom_kill_process+0x68/0x280

Dec 14 10:51:24 myserver kernel: [<c04ec9a2>] ? oom_badness+0x92/0xf0

Dec 14 10:51:24 myserver kernel: [<c04ecfe8>] ? out_of_memory+0xc8/0x1e0

Dec 14 10:51:24 myserver kernel: [<c04f773d>] ? __alloc_pages_nodemask+0x7fd                           /0x810

Dec 14 10:51:24 myserver kernel: [<c07e9da5>] ? tcp_sendmsg+0x635/0x970

Dec 14 10:51:24 myserver kernel: [<c079f02e>] ? sock_aio_write+0x13e/0x190

Dec 14 10:51:24 myserver kernel: [<c079eef0>] ? sock_aio_write+0x0/0x190

Dec 14 10:51:24 myserver kernel: [<c053696e>] ? do_sync_readv_writev+0xce/0x                           110

Dec 14 10:51:24 myserver kernel: [<c047d980>] ? autoremove_wake_function+0x0                           /0x40

Dec 14 10:51:24 myserver kernel: [<c05b446c>] ? security_file_permission+0xc                           /0x10

Dec 14 10:51:24 myserver kernel: [<c0536c56>] ? rw_verify_area+0x66/0xe0

Dec 14 10:51:24 myserver kernel: [<c05378c6>] ? do_readv_writev+0xa6/0x1b0

Dec 14 10:51:24 myserver kernel: [<c079eef0>] ? sock_aio_write+0x0/0x190

Dec 14 10:51:24 myserver kernel: [<c079d3a7>] ? sys_recv+0x37/0x40

Dec 14 10:51:24 myserver kernel: [<c0537a0e>] ? vfs_writev+0x3e/0x50

Dec 14 10:51:24 myserver kernel: [<c0537b11>] ? sys_writev+0x41/0xa0

Dec 14 10:51:24 myserver kernel: [<c04099bf>] ? sysenter_do_call+0x12/0x28

Dec 14 10:51:24 myserver kernel: Mem-Info:

Dec 14 10:51:24 myserver kernel: DMA per-cpu:

Dec 14 10:51:24 myserver kernel: CPU    0: hi:    0, btch:   1 usd:   0

Dec 14 10:51:24 myserver kernel: CPU    1: hi:    0, btch:   1 usd:   0

Dec 14 10:51:24 myserver kernel: CPU    2: hi:    0, btch:   1 usd:   0

Dec 14 10:51:24 myserver kernel: Normal per-cpu:

Dec 14 10:51:24 myserver kernel: CPU    0: hi:  186, btch:  31 usd: 179

Dec 14 10:51:24 myserver kernel: CPU    1: hi:  186, btch:  31 usd: 181

Dec 14 10:51:24 myserver kernel: CPU    2: hi:  186, btch:  31 usd: 180

Dec 14 10:51:24 myserver kernel: HighMem per-cpu:

Dec 14 10:51:24 myserver kernel: CPU    0: hi:  186, btch:  31 usd:  37

Dec 14 10:51:24 myserver kernel: CPU    1: hi:  186, btch:  31 usd:  26

Dec 14 10:51:24 myserver kernel: CPU    2: hi:  186, btch:  31 usd:  31

Dec 14 10:51:24 myserver kernel: active_anon:28222 inactive_anon:7959 isolat                           ed_anon:0

Dec 14 10:51:24 myserver kernel: active_file:6327 inactive_file:5842 isolate                           d_file:0

Dec 14 10:51:24 myserver kernel: unevictable:1506 dirty:6 writeback:0 unstab                           le:0

Dec 14 10:51:24 myserver kernel: free:510706 slab_reclaimable:1842 slab_unre                           claimable:157006

Dec 14 10:51:24 myserver kernel: mapped:2517 shmem:94 pagetables:405 bounce:                           0

Dec 14 10:51:24 myserver kernel: DMA free:3524kB min:64kB low:80kB high:96kB                            active_anon:0kB inactive_anon:0kB active_file:4kB inactive_file:4kB unevictable                           :0kB isolated(anon):0kB isolated(file):0kB present:15856kB mlocked:0kB dirty:0kB                            writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:152kB slab_unreclaimable:23                           64kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB writeback_tmp:0kB p                           ages_scanned:0 all_unreclaimable? no

Dec 14 10:51:24 myserver kernel: lowmem_reserve[]: 0 863 3032 3032

Dec 14 10:51:24 myserver kernel: Normal free:3556kB min:3724kB low:4652kB hi                           gh:5584kB active_anon:0kB inactive_anon:0kB active_file:68kB inactive_file:0kB u                           nevictable:0kB isolated(anon):0kB isolated(file):0kB present:883912kB mlocked:0k                           B dirty:0kB writeback:0kB mapped:4kB shmem:0kB slab_reclaimable:7216kB slab_unre                           claimable:625660kB kernel_stack:896kB pagetables:0kB unstable:0kB bounce:0kB wri                           teback_tmp:0kB pages_scanned:0 all_unreclaimable? no

Dec 14 10:51:24 myserver kernel: lowmem_reserve[]: 0 0 17351 17351

Dec 14 10:51:24 myserver kernel: HighMem free:2035744kB min:512kB low:2852kB                            high:5192kB active_anon:112888kB inactive_anon:31836kB active_file:25236kB inac                           tive_file:23364kB unevictable:6024kB isolated(anon):0kB isolated(file):0kB prese                           nt:2220972kB mlocked:6024kB dirty:24kB writeback:0kB mapped:10064kB shmem:376kB                            slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:1620kB u                           nstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:1664 all_unreclaimable? n                           o

Dec 14 10:51:24 myserver kernel: lowmem_reserve[]: 0 0 0 0

Dec 14 10:51:24 myserver kernel: DMA: 5*4kB 44*8kB 19*16kB 13*32kB 4*64kB 1*                           128kB 0*256kB 0*512kB 0*1024kB 1*2048kB 0*4096kB = 3524kB

Dec 14 10:51:24 myserver kernel: Normal: 387*4kB 3*8kB 4*16kB 4*32kB 0*64kB                            2*128kB 0*256kB 1*512kB 1*1024kB 0*2048kB 0*4096kB = 3556kB

Dec 14 10:51:24 myserver kernel: HighMem: 10*4kB 7*8kB 46*16kB 417*32kB 395*                           64kB 194*128kB 133*256kB 12*512kB 8*1024kB 5*2048kB 467*4096kB = 2035744kB

Dec 14 10:51:24 myserver kernel: 12893 total pagecache pages

Dec 14 10:51:24 myserver kernel: 0 pages in swap cache

Dec 14 10:51:24 myserver kernel: Swap cache stats: add 0, delete 0, find 0/0

Dec 14 10:51:24 myserver kernel: Free swap  = 65528kB

Dec 14 10:51:24 myserver kernel: Total swap = 65528kB

Dec 14 10:51:24 myserver kernel: 786428 pages RAM

Dec 14 10:51:24 myserver kernel: 559615 pages HighMem

Dec 14 10:51:24 myserver kernel: 41636 pages reserved

Dec 14 10:51:24 myserver kernel: 46018 pages shared

Dec 14 10:51:24 myserver kernel: 207900 pages non-shared

Dec 14 10:51:24 myserver kernel: [ pid ]   uid  tgid total_vm      rss cpu o                           om_adj oom_score_adj name

           0 mingetty



Dec 14 10:51:25 myserver init: tty (/dev/tty3) main process (1188) killed by                            TERM signal

Dec 14 10:51:25 myserver init: tty (/dev/tty4) main process (1190) killed by                            TERM signal

Dec 14 10:51:25 myserver init: tty (/dev/tty5) main process (1195) killed by                            TERM signal

Dec 14 10:51:25 myserver init: tty (/dev/tty6) main process (1197) killed by                            TERM signal

Dec 14 10:51:27 myserver kernel: TCP: time wait bucket table overflow

Dec 14 10:51:28 myserver named[1052]: received control channel command 'stop                           '

Dec 14 10:51:28 myserver named[1052]: shutting down: flushing changes

Dec 14 10:51:28 myserver named[1052]: stopping command channel on 127.0.0.1#                           953

Dec 14 10:51:28 myserver named[1052]: stopping command channel on ::1#953

Dec 14 10:51:28 myserver named[1052]: no longer listening on 127.0.0.1#53

Dec 14 10:51:28 myserver named[1052]: no longer listening on 5.45.75.69#53

Dec 14 10:51:28 myserver named[1052]: no longer listening on 5.45.76.187#53

Dec 14 10:51:28 myserver named[1052]: no longer listening on 5.45.74.67#53

Dec 14 10:51:28 myserver named[1052]: no longer listening on 5.45.77.200#53

Dec 14 10:51:28 myserver named[1052]: no longer listening on ::1#53

Dec 14 10:51:28 myserver named[1052]: exiting

Dec 14 10:51:30 myserver auditd[1007]: The audit daemon is exiting.

Dec 14 10:51:30 myserver kernel: type=1305 audit(1481730690.057:114096): aud                           it_pid=0 old=1007 auid=4294967295 ses=4294967295 subj=system_u:system_r:auditd_t                           :s0 res=1

Dec 14 10:51:30 myserver kernel: type=1305 audit(1481730690.162:114097): aud                           it_enabled=0 old=1 auid=4294967295 ses=4294967295 subj=system_u:system_r:auditct                           l_t:s0 res=1

Dec 14 10:51:30 myserver kernel: Kernel logging (proc) stopped.

Dec 14 10:51:30 myserver rsyslogd: [origin software="rsyslogd" swVersion="5.                           8.10" x-pid="1032" x-info="http://www.rsyslog.com"] exiting on signal 15.

[root@myserver ~]#
Поднимаю тИЦ (/ru/forum/752925) Покупаю QIWI (/ru/forum/684863) Налю $$$ через ePayments Card (https://www.epayments.com/registration?p=ae593ade60)
A9
На сайте с 04.01.2012
Offline
317
adel92
#1

Попробуйте отключить на сервере IPv6

и в файл /etc/sysctl.conf

kernel.printk_ratelimit = 30

kernel.printk_ratelimit_burst = 200

Добавить или привести строки к такому виду

По идее должно помочь

Если не поможет вот есть статья

попробуйте сделать по ней

https://bani.com.br/2015/06/linux-getting-rid-of-net_ratelimit-n-callbacks-suppressed-messages/

https://qckl.net - аренда выделенных серверов от 9.99€! Адекватная политика абуз! При оплате от 6 мес. - 3 мес. в подарок! Заказывайте!
Новый сайт. 35 страниц Что за ошибка? Поиск в большом TXT
G2
На сайте с 25.04.2008
Offline
138
grey2
#2

увеличил tcp_mem и max_orphans (как-то так называется) и ошибка про out of socket memory пропала, обрывов при загрузке сайтов не стало, но теперь иногда приходит полный крах - убивается nginx

в логе 

worker process exited on signal 9

гугление мне ничего не даёт кроме увеличения ram, а он у меня занят на 30% и свап не используется.

куда ещё смотреть?

трафика много идёт, 600мбит

Jino и Ошибки Fatal Формат логов apache - Атака на tcp LAST_ACK
rustelekom
На сайте с 20.04.2005
Offline
532
rustelekom
#3

Сервер виртуальный? Если нет, то поведение странное.

20% скидка на VPS в Нидерландах и Финляндии. Хостинг, VPS и серверы в Германии и России. RoboVPS https://www.robovps.biz
P
На сайте с 08.03.2007
Offline
250
Pilat
#4

Своп сколько гигабайт?

Блог (http://www.pilat66.ru/)
G2
На сайте с 25.04.2008
Offline
138
grey2
#5

своп был 64мб. увеличил до 1гб - эффекта ноль. да и свободен он когда это происходит.

ГОСПОДА ПОМОГИТЕ. НАДОЕЛО ПЕРЕЗАПУСКАТЬ СЕРВЕР. вот опять nginx убило с ошибкой: 

worker process exited on signal 9

Лог /var/log/messages 

Dec 29 00:40:42 reverseproxy kernel: Out of memory: Kill process 27868 (nginx) score 8 or sacrifice child

Dec 29 00:40:42 reverseproxy kernel: Killed process 27868, UID 498, (nginx) total-vm:42588kB, anon-rss:35240kB, file-rss:656kB

Dec 29 00:40:42 reverseproxy kernel: Out of memory: Kill process 27869 (nginx) score 8 or sacrifice child

Dec 29 00:40:42 reverseproxy kernel: Killed process 27869, UID 498, (nginx) total-vm:42588kB, anon-rss:35240kB, file-rss:748kB

Dec 29 00:40:42 reverseproxy kernel: Out of memory: Kill process 27870 (nginx) score 8 or sacrifice child

Dec 29 00:40:42 reverseproxy kernel: Killed process 27870, UID 498, (nginx) total-vm:42588kB, anon-rss:35240kB, file-rss:672kB

Dec 29 00:40:42 reverseproxy kernel: Out of memory: Kill process 27871 (nginx) score 8 or sacrifice child

Dec 29 00:40:42 reverseproxy kernel: Killed process 27871, UID 498, (nginx) total-vm:42588kB, anon-rss:35240kB, file-rss:668kB

Память: 

[root@reverseproxy ~]# free

             total       used       free     shared    buffers     cached

Mem:       2979168     697932    2281236          0       3644      22720

-/+ buffers/cache:     671568    2307600

Swap:      1115320          0    1115320

[root@reverseproxy ~]# cat /proc/net/sockstat

sockets: used 38

TCP: inuse 3 orphan 0 tw 0 alloc 4 mem 1

UDP: inuse 0 mem 0

UDPLITE: inuse 0

RAW: inuse 1

FRAG: inuse 0 memory 0

может этот sockstat был больше в момент нехватки ту неизвестно но tcp_mem я поднял уже до: 

net.ipv4.tcp_mem = 266112 354816 532224

net.ipv4.tcp_max_orphans = 131072

поначалу показалось что помогло а потом опять увидел что nginx убивается

перезапуск nginx после убиения помогает на пару минут и опять его убивает. помогает только полный reboot.

это виртуальный сервер.

Поддомен переадресовывает на домен Нагрузка при отключении от Как закрыть порно-вымогателя на
AGHost
На сайте с 16.11.2011
Offline
115
AGHost
#6

Пробовали утилизировать вначале всю память?

vm.overcommit_ratio = 100

vm.overcommit_memory = 2

С памятью проблем нет?

8 лет на рынке услуг хостинга - https://agho.st (https://agho.st)
rustelekom
На сайте с 20.04.2005
Offline
532
rustelekom
#7
grey2:
это виртуальный сервер.

Виртуализация какая? Если OpenVZ, то вполне может быть, что на уровне ВПС проблемы с памятью не решить и, надо просить техподдержку разобраться в лимитах.

G2
На сайте с 25.04.2008
Offline
138
grey2
#8

не пробовал. попробую.

kvm

у меня в ошибках все присутствует цифра 65536

может это нужно исправить?:

kernel.msgmnb и kernel.msgmax = 65536

Andreyka
На сайте с 19.02.2005
Offline
822
Andreyka
#9

Возможно такой хитрый оверсел на kvm

Не стоит плодить сущности без необходимости
lealhost
На сайте с 07.06.2014
Offline
136
lealhost
#10

Что выдают команды:

cat /proc/sys/vm/swappiness

и

cat /proc/sys/vm/vfs_cache_pressure

?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий