Интересная ситуация с нагрузкой на диск

Filesystem           1K-blocks      Used Available Use% Mounted on

/dev/sda3            955431692  90919056 815979492  11% /

tmpfs                  4095576         0   4095576   0% /lib/init/rw

proc                         0         0         0   -  /proc

sysfs                        0         0         0   -  /sys

udev                   4090644       140   4090504   1% /dev

tmpfs                  4095576         0   4095576   0% /dev/shm

devpts                       0         0         0   -  /dev/pts

/dev/sda2                91159     15144     71151  18% /boot

/dev/sda6              1967440     35888   1831612   2% /tmp

/dev/sdb1            961432072 290984744 621609328  32% /backups

tmp разделом, хотя обычно на других серверах у меня просто папкой.

Мои действия, очистил свап полностью, LA упал до 1, включаю выкачивание бекапа, нагрузки как ранее не поступило, LA прыгнул до 12 максимум:

top - 15:06:44 up 214 days,  1:08,  2 users,  load average: 12.49, 4.83, 3.11

Tasks: 394 total,   1 running, 393 sleeping,   0 stopped,   0 zombie

Cpu(s):  6.1%us,  4.6%sy, 10.7%ni, 57.0%id, 21.2%wa,  0.0%hi,  0.3%si,  0.0%st

Mem:   8191156k total,  7587896k used,   603260k free,   213216k buffers

Swap:  3998712k total,     2952k used,  3995760k free,  5517564k cached



  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+    UID COMMAND

12240 mysql     20   0 1615m 927m 4544 S   54 11.6   7046:08   107 mysqld

 7924 www       20   0 44116  15m 1512 D    1  0.2   3:36.00  1001 nginx

 7925 www       20   0 44380  16m 1504 D    1  0.2   3:51.72  1001 nginx

 7923 www       20   0 44380  16m 1492 S    1  0.2   3:34.29  1001 nginx

 7926 www       20   0 44380  16m 1572 D    1  0.2   3:43.47  1001 nginx

10537 root      20   0 19340 1656 1032 R    1  0.0   0:02.79     0 top

 7191 root      20   0  653m  11m  656 S    0  0.1   0:00.23     0 apache2

22570 root      20   0  653m  11m  652 S    0  0.1   0:00.05     0 apache2

23267 backups   20   0  190m 3684 1876 S    0  0.0   0:00.75  1002 proftpd

28363 power     30  10  656m  18m 5016 D    0  0.2   0:00.01  1005 apache2

    1 root      20   0  8356  668  552 S    0  0.0   1:48.76     0 init

    2 root      20   0     0    0    0 S    0  0.0   0:00.01     0 kthreadd

    3 root      RT   0     0    0    0 S    0  0.0   0:50.08     0 migration/0

Ниже atop, тут меня смущает иногда появляющщийся красный параметр:

PAG | scan 6842 | stall 0 | | swin 1 | swout 0 |

нагрузка на sda от обычной до 50%, стала прыгать до 100%, но опятьже не всегда...

ATOP - s10                2012/09/23  15:08:04                3 seconds elapsed

PRC | sys   0.65s | user   2.04s | #proc    397 | #zombie    0 | #exit     47 |

CPU | sys     27% | user     74% | irq       1% | idle    578% | wait    122% |

cpu | sys      7% | user     21% | irq       0% | idle     48% | cpu000 w 25% |

cpu | sys      5% | user     13% | irq       0% | idle     23% | cpu004 w 58% |

cpu | sys      3% | user     13% | irq       1% | idle     59% | cpu005 w 24% |

cpu | sys      3% | user     11% | irq       0% | idle     81% | cpu001 w  5% |

cpu | sys      2% | user      3% | irq       0% | idle     89% | cpu003 w  6% |

cpu | sys      3% | user      7% | irq       0% | idle     90% | cpu002 w  0% |

cpu | sys      2% | user      3% | irq       0% | idle     95% | cpu006 w  0% |

cpu | sys      1% | user      1% | irq       0% | idle     94% | cpu007 w  3% |

CPL | avg1   8.95 | avg5    5.39 | avg15   3.43 | csw     5165 | intr    7354 |

MEM | tot    7.8G | free  241.0M | cache   5.7G | buff  207.0M | slab  301.4M |

SWP | tot    3.8G | free    3.8G |              | vmcom   6.5G | vmlim   7.7G |

DSK |         sda | busy     83% | read     235 | write     26 | avio    9 ms |

DSK |         sdb | busy      6% | read     138 | write      0 | avio    1 ms |

NET | transport   | tcpi    2600 | tcpo    2298 | udpi       8 | udpo       8 |

NET | network     | ipi     2627 | ipo     2394 | ipfrw      0 | deliv   2610 |

NET | eth0    64% | pcki    2135 | pcko   16441 | si  728 Kbps | so   64 Mbps |

NET | lo     ---- | pcki     530 | pcko     530 | si 4900 Kbps | so 4900 Kbps |



  PID     RDDSK    WRDSK  WRDSK_CANCEL                       DSK CMD     1/10

23267    18816K       0K            0K                       64% proftpd

12240      796K    7976K         7920K                       30% mysqld

17972        0K     880K            0K                        3% php

 1724      268K      64K            0K                        1% cron

 7925       72K      68K            0K                        0% nginx

 7923      124K      16K            0K                        0% nginx

В iotop ничего необычного, наверху либо база либо журнал.

Total DISK READ: 374.25 K/s | Total DISK WRITE: 793.81 K/s

  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND

  333 be/3 root        0.00 B/s   70.91 K/s  0.00 % 47.19 % [jbd2/sda3-8]

31073 be/4 mysql     256.07 K/s   19.70 K/s  0.00 %  9.13 % mysqld --basedir=/usr --datadir=/v~/run/mysqld/mysqld.sock --port=3306

  668 be/4 mysql      35.46 K/s 2017.02 B/s  0.00 %  5.93 % mysqld --basedir=/usr --datadir=/v~/run/mysqld/mysqld.sock --port=3306

 7923 be/4 www         7.88 K/s   23.64 K/s  0.00 %  5.39 % nginx: worker process

32291 be/6 power       0.00 B/s    7.88 K/s  0.00 %  2.46 % apache2 -k start

 7925 be/4 www        27.58 K/s   29.55 K/s  0.00 %  2.37 % nginx: worker process

32046 be/4 mysql      11.82 K/s    0.00 B/s  0.00 %  1.55 % mysqld --basedir=/usr --datadir=/v~/run/mysqld/mysqld.sock --port=3306

 7924 be/4 www         7.88 K/s    9.85 K/s  0.00 %  1.21 % nginx: worker process

Свап так и не заюзался, с ним думаю было бы всё хуже.

Надеюсь теперь танцы с бубном станут более понятными 😂

Но не для меня..

Нажмите пожалуйста на единичку, чтобы видеть все ядра.

iowait занимает 21%. А в спокойном состоянии он сколько занимает?

TC - sda | busy 83% - у вас нагружен диск где система.

bugsmoran

iowait прыгает, и без скачки бекапов он конечно меньше, при скачивании прагает до 40%.

на единичку я могу нажать, но суть в том что этот скачёк как правило при начале скачивания и всего пару минут, но систему ложит...

Лучше прочитать первый пост...

Почему нагружен диск где система, в то время как начинается скачивание с другого диска sdb?

smart покажите дисков.

df -h

покажите что файл лежит на sdb

и наверное тут надо смотреть, так как очень очень сухо все.

df выкладывал выше, в смартах я отлично разбираюсь.

Вообщем спасибо, тема закрыта. Достало уже что меня просят о каких то элементарных вещах, как будто я полный нуб и не способен сам анализировать top.

И проверять то что уже было проверено, и описано в первом посте по 100 раз, танцы с бубном удались.

Разочарован, что так сложно некоторым прочитать и вникнуть в первый пост. :(

ну так если вы отличник, так в перёд.

Да пропустил df , и что, вы ещё и нервничаете?, так может стоит самим разобраться ? а не писать тут. Свои загадочные проблемы.

Такая проблема может быть ещё связанна с железом, когда система отлажено и внезапно начинает идти сбой не понятный.

стоит проверить CPU температуру. надо найти момент, от CPU растет IO, или от IO растет LA - стоит проверить диски смарт, и понаблюдать сама по себе система не затыкается не работает рывками. Больше не могу сказать это надо смотреть.

Разнервничался? Да, и огорчился.

Ожидалось услышать предположения, возможно я не знаю каких то особенностей работы proftpd с буферами или ОС в целом с завязкой на файловую систему и кешами, может это журнал пакостит, может есть такой bag в OS для подобных ситуаций от чего процессы находятся в неправильном ожидании в плане шедуйлеров и так далее...

Да, загадочная проблема останется загадкой для всех, пока кто-то не столкнётся и не напишет подобный пост, и его также пошлют смотреть элементарные вещи типа top... но видимо проще забить, чем искать ответа на загадочные вопросы тут)

lsof strace в помощь.

не давно была загадочная проблема, так-же не понятно было с LA+hdd, 2 дня было потрачено , что бы дц сменил сервер, после все заплясало.

но приэтом умерли все диски RAID 1, пришлось ещё день тратить на восстановления.

Нагрузка на диск достаточно высока, что притормаживает выполнене процессов и вызывает их рост, что приводит к нагрузке

Посмотрите какой из процессов больше всего грузит и сообщите - посоветую, что делать дальше