Форум Сайтостроение Администрирование серверов

Странный WAIT IO на Debian сервере

12
D1
На сайте с 29.09.2010
Offline
0
dev123
1923

Вчера неожиданно столкнулся со странным явлением. Начиная примерно с 12 часов дня, вдруг начал наростать WAIT IO. Заметил это ближе к вечеру. Стал разбираться. Останавливал всех демонов по очереди, потом перезагрузил сервер. После отключения сайтов нагрузка спала. Что в общем то закономерно. Потом поставил iotop, который не показал ничего подозрительного. Т.е. так и не удалось определить, какой именно демон так активно использует жесткий диск. Примерно в 20:10 WAIT IO резко пропал сам собой.

На сервере работают следующие демоны: nginx, apache, mysql, postgresql, 2 xbt_tracker, deluged, collectd, exim.

Система Debian squeeze

Графики загрузки системы во вложении.

Есть ли у кого-то мысли в чем может быть дело? Потому что у меня уже идеи кончились.

png cpu.png
png disk_time.png
png load.png
M
На сайте с 01.12.2009
Offline
235
madoff
#1

Бывает и не такое, раз всё нормализовалось, значит всё нормализовалось =)

Администратор Linux,Freebsd. построения крупных проектов.
bugsmoran
На сайте с 18.02.2010
Offline
223
bugsmoran
#2
dev123:
Есть ли у кого-то мысли в чем может быть дело?

Мысли будут после того, как Вы посмотрите кто именно мучал диск утилитой iotop и скажете нам.

D1
На сайте с 29.09.2010
Offline
0
dev123
#3
bugsmoran:
Мысли будут после того, как Вы посмотрите кто именно мучал диск утилитой iotop и скажете нам.

В iotop

[kjournald]

apache2

nginx

postgres

mysql

Я же сказал, что по iotop было непонятно кто конкретно там висит. Висели все по-очереди. С опцией -a порядок был примерно такой как я привел выше.

Как часто делать md2_resync mysql+innodb+innodb_buffer_pool_size Спасут ли SSD вместо
Zaqwr
На сайте с 08.08.2007
Offline
111
Zaqwr
#4

ключевое слово postgresql , думаю autovacuum трудился

Администрирование, Linux, Cisco, Juniper
brain-dead
На сайте с 22.08.2010
Offline
59
brain-dead
#5
Zaqwr:
ключевое слово postgresql , думаю autovacuum трудился

тоже сначала на него подумал, но догадка не подтвердилась

Zaqwr
На сайте с 08.08.2007
Offline
111
Zaqwr
#6

как проверяли?

bugsmoran
На сайте с 18.02.2010
Offline
223
bugsmoran
#7
dev123:
В iotop
[kjournald]
apache2
nginx
postgres
mysql

Я же сказал, что по iotop было непонятно кто конкретно там висит. Висели все по-очереди. С опцией -a порядок был примерно такой как я привел выше.

Вы не сказали.

Вывод команды: iotop -b -n3 приведите пожалуйста.

И вообще не имейте привычку гадать. Все можно точно диагностировать. А кофейная гуща не инструмент сурового айтишника.

brain-dead
На сайте с 22.08.2010
Offline
59
brain-dead
#8
Zaqwr:
как проверяли?

его обычно видно в процессах. он появлялся пару раз, но отрабатывал и завершался.

brain-dead добавил 30.09.2010 в 10:09

bugsmoran:
Вы не сказали.
Вывод команды: iotop -b -n3 приведите пожалуйста.
И вообще не имейте привычку гадать. Все можно точно диагностировать. А кофейная гуща не инструмент сурового айтишника.

К сожалению результат iotop под нагрузкой предоставить не получится. сейчас все в порядке, а те замеры не сохранились.

Скажите что по вашему мнению должен был показать iotop, на что сразу стоило бы обратить внимание?

Как лучше монитизировать download Проблемы с дисковой системой. Каждому новому сайту по
Zaqwr
На сайте с 08.08.2007
Offline
111
Zaqwr
#9

brain-dead, , reindex тоже небыло? какой раздел активнее всего использовался ? swap / /var /tmp ? смотреть iostat -x 3

bugsmoran
На сайте с 18.02.2010
Offline
223
bugsmoran
#10
brain-dead:
Скажите что по вашему мнению должен был показать iotop, на что сразу стоило бы обратить внимание?

Ну вот пример. Смотрите на имена колонок и сразу все станет очевидно:

Total DISK READ: 0 B/s | Total DISK WRITE: 0 B/s
  PID USER      DISK READ  DISK WRITE   SWAPIN    IO    COMMAND
18940 dovecot        0 B/s       0 B/s  0.00 %  0.00 % pop3-login
 6654 mysql          0 B/s       0 B/s  0.00 %  0.00 % mysqld --basedir=/usr --datadir=/backup/mysql_main --pid-file=/var/run/mysql/mysql-server.pid --skip-external-locking --port=3306 --socket=/var/www/var/run/mysqld/mysqld.sock
 2566 dovecot        0 B/s       0 B/s  0.00 %  0.00 % pop3-login
64007 dovecot        0 B/s       0 B/s  0.00 %  0.00 % pop3-login
52255 user213        0 B/s       0 B/s  0.00 %  0.00 % php5-cgi php
25101 root           0 B/s       0 B/s  0.00 %  0.00 % archivemount -s -o readonly,allow_other,default_permissions,umask=022,readonly /backup_user_dirs/backup_user_dirs/1_user295.tar user295/data/backup
64015 postfix        0 B/s       0 B/s  0.00 %  0.00 % smtpd -n smtp -t inet -u -o stress  -o content_filter spamfilter:dummy
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий