Интересная ситуация с нагрузкой на диск

D
На сайте с 05.06.2007
Offline
155
#11

Filesystem           1K-blocks      Used Available Use% Mounted on

/dev/sda3 955431692 90919056 815979492 11% /
tmpfs 4095576 0 4095576 0% /lib/init/rw
proc 0 0 0 - /proc
sysfs 0 0 0 - /sys
udev 4090644 140 4090504 1% /dev
tmpfs 4095576 0 4095576 0% /dev/shm
devpts 0 0 0 - /dev/pts
/dev/sda2 91159 15144 71151 18% /boot
/dev/sda6 1967440 35888 1831612 2% /tmp
/dev/sdb1 961432072 290984744 621609328 32% /backups

tmp разделом, хотя обычно на других серверах у меня просто папкой.

Мои действия, очистил свап полностью, LA упал до 1, включаю выкачивание бекапа, нагрузки как ранее не поступило, LA прыгнул до 12 максимум:

top - 15:06:44 up 214 days,  1:08,  2 users,  load average: 12.49, 4.83, 3.11

Tasks: 394 total, 1 running, 393 sleeping, 0 stopped, 0 zombie
Cpu(s): 6.1%us, 4.6%sy, 10.7%ni, 57.0%id, 21.2%wa, 0.0%hi, 0.3%si, 0.0%st
Mem: 8191156k total, 7587896k used, 603260k free, 213216k buffers
Swap: 3998712k total, 2952k used, 3995760k free, 5517564k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ UID COMMAND
12240 mysql 20 0 1615m 927m 4544 S 54 11.6 7046:08 107 mysqld
7924 www 20 0 44116 15m 1512 D 1 0.2 3:36.00 1001 nginx
7925 www 20 0 44380 16m 1504 D 1 0.2 3:51.72 1001 nginx
7923 www 20 0 44380 16m 1492 S 1 0.2 3:34.29 1001 nginx
7926 www 20 0 44380 16m 1572 D 1 0.2 3:43.47 1001 nginx
10537 root 20 0 19340 1656 1032 R 1 0.0 0:02.79 0 top
7191 root 20 0 653m 11m 656 S 0 0.1 0:00.23 0 apache2
22570 root 20 0 653m 11m 652 S 0 0.1 0:00.05 0 apache2
23267 backups 20 0 190m 3684 1876 S 0 0.0 0:00.75 1002 proftpd
28363 power 30 10 656m 18m 5016 D 0 0.2 0:00.01 1005 apache2
1 root 20 0 8356 668 552 S 0 0.0 1:48.76 0 init
2 root 20 0 0 0 0 S 0 0.0 0:00.01 0 kthreadd
3 root RT 0 0 0 0 S 0 0.0 0:50.08 0 migration/0

Ниже atop, тут меня смущает иногда появляющщийся красный параметр:

PAG | scan 6842 | stall 0 | | swin 1 | swout 0 |

нагрузка на sda от обычной до 50%, стала прыгать до 100%, но опятьже не всегда...

ATOP - s10                2012/09/23  15:08:04                3 seconds elapsed

PRC | sys 0.65s | user 2.04s | #proc 397 | #zombie 0 | #exit 47 |
CPU | sys 27% | user 74% | irq 1% | idle 578% | wait 122% |
cpu | sys 7% | user 21% | irq 0% | idle 48% | cpu000 w 25% |
cpu | sys 5% | user 13% | irq 0% | idle 23% | cpu004 w 58% |
cpu | sys 3% | user 13% | irq 1% | idle 59% | cpu005 w 24% |
cpu | sys 3% | user 11% | irq 0% | idle 81% | cpu001 w 5% |
cpu | sys 2% | user 3% | irq 0% | idle 89% | cpu003 w 6% |
cpu | sys 3% | user 7% | irq 0% | idle 90% | cpu002 w 0% |
cpu | sys 2% | user 3% | irq 0% | idle 95% | cpu006 w 0% |
cpu | sys 1% | user 1% | irq 0% | idle 94% | cpu007 w 3% |
CPL | avg1 8.95 | avg5 5.39 | avg15 3.43 | csw 5165 | intr 7354 |
MEM | tot 7.8G | free 241.0M | cache 5.7G | buff 207.0M | slab 301.4M |
SWP | tot 3.8G | free 3.8G | | vmcom 6.5G | vmlim 7.7G |
DSK | sda | busy 83% | read 235 | write 26 | avio 9 ms |
DSK | sdb | busy 6% | read 138 | write 0 | avio 1 ms |
NET | transport | tcpi 2600 | tcpo 2298 | udpi 8 | udpo 8 |
NET | network | ipi 2627 | ipo 2394 | ipfrw 0 | deliv 2610 |
NET | eth0 64% | pcki 2135 | pcko 16441 | si 728 Kbps | so 64 Mbps |
NET | lo ---- | pcki 530 | pcko 530 | si 4900 Kbps | so 4900 Kbps |

PID RDDSK WRDSK WRDSK_CANCEL DSK CMD 1/10
23267 18816K 0K 0K 64% proftpd
12240 796K 7976K 7920K 30% mysqld
17972 0K 880K 0K 3% php
1724 268K 64K 0K 1% cron
7925 72K 68K 0K 0% nginx
7923 124K 16K 0K 0% nginx

В iotop ничего необычного, наверху либо база либо журнал.

Total DISK READ: 374.25 K/s | Total DISK WRITE: 793.81 K/s

TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
333 be/3 root 0.00 B/s 70.91 K/s 0.00 % 47.19 % [jbd2/sda3-8]
31073 be/4 mysql 256.07 K/s 19.70 K/s 0.00 % 9.13 % mysqld --basedir=/usr --datadir=/v~/run/mysqld/mysqld.sock --port=3306
668 be/4 mysql 35.46 K/s 2017.02 B/s 0.00 % 5.93 % mysqld --basedir=/usr --datadir=/v~/run/mysqld/mysqld.sock --port=3306
7923 be/4 www 7.88 K/s 23.64 K/s 0.00 % 5.39 % nginx: worker process
32291 be/6 power 0.00 B/s 7.88 K/s 0.00 % 2.46 % apache2 -k start
7925 be/4 www 27.58 K/s 29.55 K/s 0.00 % 2.37 % nginx: worker process
32046 be/4 mysql 11.82 K/s 0.00 B/s 0.00 % 1.55 % mysqld --basedir=/usr --datadir=/v~/run/mysqld/mysqld.sock --port=3306
7924 be/4 www 7.88 K/s 9.85 K/s 0.00 % 1.21 % nginx: worker process

Свап так и не заюзался, с ним думаю было бы всё хуже.

Надеюсь теперь танцы с бубном станут более понятными 😂

Но не для меня..

Написал не мало шедевров ;)
bugsmoran
На сайте с 18.02.2010
Offline
200
#12
Dimanych:

top - 15:06:44 up 214 days, 1:08, 2 users, load average: 12.49, 4.83, 3.11
Tasks: 394 total, 1 running, 393 sleeping, 0 stopped, 0 zombie
Cpu(s): 6.1%us, 4.6%sy, 10.7%ni, 57.0%id, 21.2%wa, 0.0%hi, 0.3%si, 0.0%st
Mem: 8191156k total, 7587896k used, 603260k free, 213216k buffers
Swap: 3998712k total, 2952k used, 3995760k free, 5517564k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ UID COMMAND
12240 mysql 20 0 1615m 927m 4544 S 54 11.6 7046:08 107 mysqld
7924 www 20 0 44116 15m 1512 D 1 0.2 3:36.00 1001 nginx
7925 www 20 0 44380 16m 1504 D 1 0.2 3:51.72 1001 nginx
7923 www 20 0 44380 16m 1492 S 1 0.2 3:34.29 1001 nginx
7926 www 20 0 44380 16m 1572 D 1 0.2 3:43.47 1001 nginx
10537 root 20 0 19340 1656 1032 R 1 0.0 0:02.79 0 top
7191 root 20 0 653m 11m 656 S 0 0.1 0:00.23 0 apache2
22570 root 20 0 653m 11m 652 S 0 0.1 0:00.05 0 apache2
23267 backups 20 0 190m 3684 1876 S 0 0.0 0:00.75 1002 proftpd
28363 power 30 10 656m 18m 5016 D 0 0.2 0:00.01 1005 apache2
1 root 20 0 8356 668 552 S 0 0.0 1:48.76 0 init
2 root 20 0 0 0 0 S 0 0.0 0:00.01 0 kthreadd
3 root RT 0 0 0 0 S 0 0.0 0:50.08 0 migration/0

Нажмите пожалуйста на единичку, чтобы видеть все ядра.

iowait занимает 21%. А в спокойном состоянии он сколько занимает?

madoff
На сайте с 01.12.2009
Offline
235
#13

TC - sda | busy 83% - у вас нагружен диск где система.

Администратор Linux,Freebsd. (/ru/forum/494299) построения крупных проектов. ICQ#: 241606.
D
На сайте с 05.06.2007
Offline
155
#14

bugsmoran

iowait прыгает, и без скачки бекапов он конечно меньше, при скачивании прагает до 40%.

на единичку я могу нажать, но суть в том что этот скачёк как правило при начале скачивания и всего пару минут, но систему ложит...

madoff:
TC - sda | busy 83% - у вас нагружен диск где система.

Лучше прочитать первый пост...

Почему нагружен диск где система, в то время как начинается скачивание с другого диска sdb?

madoff
На сайте с 01.12.2009
Offline
235
#15

smart покажите дисков.

df -h

покажите что файл лежит на sdb

и наверное тут надо смотреть, так как очень очень сухо все.

D
На сайте с 05.06.2007
Offline
155
#16

df выкладывал выше, в смартах я отлично разбираюсь.

Вообщем спасибо, тема закрыта. Достало уже что меня просят о каких то элементарных вещах, как будто я полный нуб и не способен сам анализировать top.

И проверять то что уже было проверено, и описано в первом посте по 100 раз, танцы с бубном удались.

Разочарован, что так сложно некоторым прочитать и вникнуть в первый пост. :(

madoff
На сайте с 01.12.2009
Offline
235
#17

ну так если вы отличник, так в перёд.

Да пропустил df , и что, вы ещё и нервничаете?, так может стоит самим разобраться ? а не писать тут. Свои загадочные проблемы.

Такая проблема может быть ещё связанна с железом, когда система отлажено и внезапно начинает идти сбой не понятный.

стоит проверить CPU температуру. надо найти момент, от CPU растет IO, или от IO растет LA - стоит проверить диски смарт, и понаблюдать сама по себе система не затыкается не работает рывками. Больше не могу сказать это надо смотреть.

D
На сайте с 05.06.2007
Offline
155
#18

Разнервничался? Да, и огорчился.

Ожидалось услышать предположения, возможно я не знаю каких то особенностей работы proftpd с буферами или ОС в целом с завязкой на файловую систему и кешами, может это журнал пакостит, может есть такой bag в OS для подобных ситуаций от чего процессы находятся в неправильном ожидании в плане шедуйлеров и так далее...

Да, загадочная проблема останется загадкой для всех, пока кто-то не столкнётся и не напишет подобный пост, и его также пошлют смотреть элементарные вещи типа top... но видимо проще забить, чем искать ответа на загадочные вопросы тут)

madoff
На сайте с 01.12.2009
Offline
235
#19
Dimanych:
Разнервничался? Да, и огорчился.
Ожидалось услышать предположения, возможно я не знаю каких то особенностей работы proftpd с буферами или ОС в целом с завязкой на файловую систему и кешами, может это журнал пакостит, может есть такой bag в OS для подобных ситуаций от чего процессы находятся в неправильном ожидании в плане шедуйлеров и так далее...
Да, загадочная проблема останется загадкой для всех, пока кто-то не столкнётся и не напишет подобный пост, и его также пошлют смотреть элементарные вещи типа top... но видимо проще забить, чем искать ответа на загадочные вопросы тут)

lsof strace в помощь.

не давно была загадочная проблема, так-же не понятно было с LA+hdd, 2 дня было потрачено , что бы дц сменил сервер, после все заплясало.

но приэтом умерли все диски RAID 1, пришлось ещё день тратить на восстановления.

Andreyka
На сайте с 19.02.2005
Offline
822
#20

Нагрузка на диск достаточно высока, что притормаживает выполнене процессов и вызывает их рост, что приводит к нагрузке

Посмотрите какой из процессов больше всего грузит и сообщите - посоветую, что делать дальше

Не стоит плодить сущности без необходимости

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий