CPU 100%wa

12
D
На сайте с 05.06.2007
Offline
155
2915

Cpu(s): 0.0%us, 0.0%sy, 0.0%ni, 0.0%id, 100%wa, 0.0%hi, 0.0%si, 0.0%st

Вообщем заметил что сервер не открывает странички, захожу в шелл и вижу как значение процессора прыгает до 95-100% для wa. Сомнительных процессов в топе не наблюдалось, хотя команда топ у меня показывает только целые числа... вообщем всё по нулям было(

Через минуту сервер очухался и появились процессы бекапа на другой диск через фтп, значение wa спало на 50%. (wa - вроде как операции с диском и ожидание)

Неужели перед созданием бекапа tar и ftp могут забирать 100% проца?

Почему процесс невидно который создаёт такую нагрузку?

Конечно запускается это у меня под рутом, но это же не значит что должны потребляться все ресурсы сервера не оставляя ничего другим процессам :mad:

Вот мой скриптик бекапа, может чего перемудрил ))

#!/bin/bash
# run in root directory only!

DATE=`date +%Y-%m-%d`

echo "machine myftpserver login mylogin password mypass" > .netrc
chmod 0600 .netrc

echo "send \"| tar -c /home/web1/html \" $DATE.tar
close
exit" | ftp myftpserver > /root/backup.log 2>&1 &

может быть эта проблема решится запуском процесса с меньшим приоритетом?

если да, то как это сделать через шел?

Dimanych добавил 01.07.2008 в 03:12

После создания бекапа также наблюдаются высокие коротковременные всплески для wa, так что это дело не только в бекапе, как определить что приводит к такой нагрузке?

Написал не мало шедевров ;)
A
На сайте с 30.06.2008
Offline
1
#1
Dimanych:
Cpu(s): 0.0%us, 0.0%sy, 0.0%ni, 0.0%id, 100%wa, 0.0%hi, 0.0%si, 0.0%st

Вообщем заметил что сервер не открывает странички, захожу в шелл и вижу как значение процессора прыгает до 95-100% для wa. Сомнительных процессов в топе не наблюдалось, хотя команда топ у меня показывает только целые числа... вообщем всё по нулям было(
Через минуту сервер очухался и появились процессы бекапа на другой диск через фтп, значение wa спало на 50%. (wa - вроде как операции с диском и ожидание)

Неужели перед созданием бекапа tar и ftp могут забирать 100% проца?
Почему процесс невидно который создаёт такую нагрузку?
Конечно запускается это у меня под рутом, но это же не значит что должны потребляться все ресурсы сервера не оставляя ничего другим процессам 😡

Вот мой скриптик бекапа, может чего перемудрил ))


может быть эта проблема решится запуском процесса с меньшим приоритетом?
если да, то как это сделать через шел?

Dimanych добавил 01.07.2008 в 03:12
После создания бекапа также наблюдаются высокие коротковременные всплески для wa, так что это дело не только в бекапе, как определить что приводит к такой нагрузке?

Догадаюсь что os - linux 2.6. Ну все нормально - на 2.4 по-моему вообще wa не показывалось - т. е. показало бы что cpu 100% idle.

при wa процессор не работает - просто прцессы ждут ввода-вывода.

D
На сайте с 05.06.2007
Offline
155
#2

да, 2.6. debian etch

при нормальной работе сервера wa у меня достигало не более 30% коротковремено!

тут же оно почти всегда было 100% что недавало работать другим процессам и шел очень тормазил.. LA был естественно за 30.. и это всё в тихую ночь!

Я писал что через минуту всё возобновилось.. но потом опять такая же ерунда уже после завершения бекапа, я поубивал все мной запущенные процессы, nginx php proftpd cron и другие .. это не помогло, было wa100% .. какие процессы могли такое вызвать?

Что мне остовалось делать?? .. перезагрузил сервер, видимо он проверял диск, так как длилась перезагрузка минут 15. После этого всё запустил и сейчас опять работает нормально.

Как с этим бороться? может кто знает как определить чем занимается сервер в этот момент?

sas
На сайте с 05.02.2006
Offline
19
sas
#3

попробуйте запустить через команду nice, для пониженного приоритета, например, "nice -n 15 ваша_команда". значения - от -20(высочайший приоритет) до 20 (самый низкий приоритет)

хороший человек (http://sarmanov.com)
Andreyka
На сайте с 19.02.2005
Offline
822
#4

2 варианта

1. DMA отвалилось/шлейф плохой

2. Винт сдыхает/перегрет

Не стоит плодить сущности без необходимости
D
На сайте с 05.06.2007
Offline
155
#5
Andreyka:
2 варианта
1. DMA отвалилось/шлейф плохой
2. Винт сдыхает/перегрет

На винт у меня в первую очередь теперь подозрение так как после рестарта пару мелких файликов пропало, возможно это было при попытки записи в фаил когда диск был перегрет.

Можно ли как то узнать точную проблему без супортов дата центра,

т.е. 1й или 2й пункт и по какую сторону черты?

Поможет ли снижения приоритета? ведь такое только при бекапе или при копировании больших файлов от 5гб, был похожий случай..

PS. может ли быть дополнительной причиной то что при бекапе очень много мелких файликов архивируется? (более миллиона)

PS. hdtemp почему то не меняется, видно нет возможности правильно определить

hddtemp /dev/sda
WARNING: Drive /dev/sda doesn't appear in the database of supported drives
WARNING: But using a common value, it reports something.
WARNING: Note that the temperature shown could be wrong.
WARNING: See --help, --debug and --drivebase options.
WARNING: And don't forget you can add your drive to hddtemp.db
/dev/sda: ST3500320AS ─: 36╟C or ╟F

похоже нужно в базу добавить как то этот диск..

A
На сайте с 30.06.2008
Offline
1
#6
На винт у меня в первую очередь теперь подозрение так как после рестарта пару мелких файликов пропало, возможно это было при попытки записи в фаил когда диск был перегрет.

Можно ли как то узнать точную проблему без супортов дата центра,
т.е. 1й или 2й пункт и по какую сторону черты?

hdparm, smartctl. Через второе так же можно посмотреть температуру. Так же можно погонять smart тесты - offline и т. д.

А какая скорость диска (и что за диск) покажется через dd if=/dev/<disk> of=/dev/zero bs=4096 count=$[1024*256]

может ли быть дополнительной причиной то что при бекапе очень много мелких файликов архивируется? (более миллиона)

Можно сменить fs - например на reiserfs

Andreyka
На сайте с 19.02.2005
Offline
822
#7

Самое главное сейчас - забрать быстрее бекап

D
На сайте с 05.06.2007
Offline
155
#8

Вот такой диск

http://market.yandex.ru/model.xml?hid=91033&modelid=1035963

Проверил скорость

dd if=/dev/sda of=/dev/zero bs=4096 count=$[1024*256]

262144+0 DatensДtze ein

262144+0 DatensДtze aus

1073741824 Bytes (1,1 GB) kopiert, 14,3152 Sekunden, 75,0 MB/s

Температуру выдало 37 градусов, hddtemp значит тоже верно показывает, было ведь 36.

Andreyka, бекап то я забрал.. мне бы причину точную узнать..

сегодня опять чуть всё не подвисло когда было чтение большого числа мелких файлов через пхп(типо крона)...

A
На сайте с 30.06.2008
Offline
1
#9
Dimanych:
Вот такой диск
http://market.yandex.ru/model.xml?hid=91033&modelid=1035963

Проверил скорость
dd if=/dev/sda of=/dev/zero bs=4096 count=$[1024*256]
262144+0 DatensДtze ein
262144+0 DatensДtze aus
1073741824 Bytes (1,1 GB) kopiert, 14,3152 Sekunden, 75,0 MB/s

не помешало бы для сравнения вывод time tar ..., размер получаемого tar файла и название fs

D
На сайте с 05.06.2007
Offline
155
#10

# <sys.fichiers><pt de montage><type> <options> <dump> <pass>

/dev/sda1 / ext3 errors=remount-ro 0 1

/dev/sda2 /home ext3 defaults 1 2

/dev/sda3 swap swap defaults 0 0

proc /proc proc defaults 0 0

sysfs /sys sysfs defaults 0 0

Кое что проясняется, если я делаю в одной папке где 26тыс файлов

dir /home/user/files/

простой вывод имён файлов, то выводится мгновенно, а если

dir -l /home/user/files/

вывод с подробной инфой, то сразу всё виснет и ничего не выводит

Если я пытаюсь заархивировать эту папку, тоже всё виснет и выводит такие строки:

невозможно запустить stat для файла - фаил не найден, причём выводит название этого файла.

Потом всё висит секунд 10 и выводит сново эту ошибку для другого файла, в момент выдачи ошибки сервер оживает на мгновение )

Что это за ерунда такая, на диске битые места? Диск зацикливаясь на несколько сек пытается прочесть ошибочные фаилы?? Похоже на баг файловой системы при возникновении ошибок на диске.. не должен он так зацикливаться (

PS. таких больших папок у меня много, пока только с одной заметил такой глюк..

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий