Развалился raid0

208

masterlan

17 февраля 2014, 23:46

2806

Привет народ.

Вобщем все было хорошо. Но в субботу вечерком оторвали от заслуженного отдыха - сервер тупит.

На сервере сотовый raid1 , debian7 + proxmox ve и десяток виртуалок. Все было ок, но тут пришла беда.

С трудом добрался по ssh на сервер, и обнаружил LA скачущий от 12 до 32 ( в обычном режиме, LA максимум поднимался до отметки "2")

smart показал что оба винта система видит, а вот из рейда один из них вылетел. Добавил его обратно, и стал ждать пока он синхронизируется. Как оказалось ждать мне долго:

root@pve:~# cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sda1[2] sdb1[0]
471657280 blocks super 1.2 [2/1] [U_]
[=====>...............] recovery = 26.4% (124706560/471657280) finish=2647.4min speed=2183K/sec

unused devices: <none>

По факту:

load average: 2,75, 2,67, 2,84

IO:

root@pve:~# iostat -xm 1
Linux 2.6.32-26-pve (pve) 18.02.2014 _x86_64_ (4 CPU)

avg-cpu: %user %nice %system %iowait %steal %idle
0,85 0,57 0,51 20,48 0,00 77,59

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0,00 12,05 0,00 4,48 0,00 0,75 343,07 0,09 19,10 4,70 19,12 5,97 2,68
sdb 9,30 6,41 3,26 4,81 0,73 0,09 208,32 8,66 1073,18 355,94 1558,64 119,09 96,13
md0 0,00 0,00 1,05 11,15 0,01 0,09 17,00 0,00 0,00 0,00 0,00 0,00 0,00

^C
root@pve:~#

Думается мне, восстановление идет оочень медленно. На сервере работают на данный момент всего 3-4 виртуалки, которые нагрузки почти не создают.

В чем может быть трабл?

По запросу вывод smartctl покажу.

Нет свободных падений с высот, Но зато есть свобода раскрыть парашют. Куплю BTC-E code за Privat24 UAH. icq: 698- 375- 092

VK

42

V2NEK

18 февраля 2014, 00:12

#1

masterlan, лучше всего перевести сервер в resque режим и дождаться пока быстренько пройдет ресинк райда.

Если нет возможности и ресинк мешает жить виртуалкам - на время наиболее интенсивной нагрузки ограничивайте скорость ресинка. Но лучше первый вариант.

P

144

poiuty

18 февраля 2014, 01:38

#2

Для начала потестить скорость дисков

hdparm -tT /dev/sda && hdparm -tT /dev/sdb

Посмотреть логи, поискать ошибки связанные с hdd.

Покажите smartctl. Иногда жесткий умирает, но при этом вывод по smartctl нормально.

P

144

poiuty

18 февраля 2014, 01:38

#3

Для начала потестить скорость дисков

hdparm -tT /dev/sda && hdparm -tT /dev/sdb

Посмотреть логи, поискать ошибки связанные с hdd.

Покажите smartctl.

И бекап сделайте (на всякий случай)

822

Andreyka

18 февраля 2014, 03:14

#4

Вы можете управлять скоростью синхронизации

Ошибкой же было бездумное добавление диска взад без длительного тестирования smart

Не стоит плодить сущности без необходимости

482

Андрей

18 февраля 2014, 08:06

#5

А почему темы подписали "Raid0"?

EuroHoster.org ( https://eurohoster.org/ru/ ) - территория быстрых серверов. Выделенные серверы, VPS, SSL, домены и VPN.

M

208

masterlan

18 февраля 2014, 11:48

#6

Смарты:

root@pve:~# smartctl -a /dev/sda
smartctl 5.41 2011-06-09 r3365 [x86_64-linux-2.6.32-26-pve] (local build)

=== START OF INFORMATION SECTION ===
Model Family: Western Digital Caviar Blue Serial ATA
Device Model: WDC WD5000AAKX-001CA0
Serial Number: WD-WMAYUW923888
LU WWN Device Id: 5 0014ee 657ca20f6
Firmware Version: 15.01H15
User Capacity: 500.107.862.016 bytes [500 GB]
Sector Size: 512 bytes logical/physical

ATA Version is: 8
ATA Standard is: Exact ATA specification draft version not indicated
Local Time is: Tue Feb 18 13:40:21 2014 EET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status: (0x82) Offline data collection activity
was completed without error.
Auto Offline Data Collection: Enabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: ( 8400) seconds.
Offline data collection
capabilities: (0x7b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 2) minutes.
Extended self-test routine
recommended polling time: ( 85) minutes.
Conveyance self-test routine
recommended polling time: ( 5) minutes.
SCT capabilities: (0x3037) SCT Status supported.
SCT Feature Control supported.
SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 0
3 Spin_Up_Time 0x0027 135 135 021 Pre-fail Always - 4216
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 37
5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always - 0
7 Seek_Error_Rate 0x002e 200 200 000 Old_age Always - 0
9 Power_On_Hours 0x0032 086 086 000 Old_age Always - 10380
10 Spin_Retry_Count 0x0032 100 253 000 Old_age Always - 0
11 Calibration_Retry_Count 0x0032 100 253 000 Old_age Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 35
192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always - 30
193 Load_Cycle_Count 0x0032 200 200 000 Old_age Always - 6
194 Temperature_Celsius 0x0022 105 096 000 Old_age Always - 38
196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always - 0
197 Current_Pending_Sector 0x0032 200 200 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 200 200 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x0008 200 200 000 Old_age Offline - 0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1

SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testing
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.

второй винт

root@pve:~# smartctl -a /dev/sdb
=== START OF INFORMATION SECTION ===
Model Family: Western Digital Caviar Blue Serial ATA
Device Model: WDC WD5000AAKX-22ERMA0
Serial Number: WD-WCC2EMF63022
LU WWN Device Id: 5 0014ee 25e46a423
Firmware Version: 17.01H17
User Capacity: 500.107.862.016 bytes [500 GB]
Sector Size: 512 bytes logical/physical
ATA Version is: 8
ATA Standard is: Exact ATA specification draft version not indicated
Local Time is: Tue Feb 18 13:41:20 2014 EET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status: (0x80) Offline data collection activity
was never started.
Auto Offline Data Collection: Enabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: ( 8700) seconds.
Offline data collection
capabilities: (0x7b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 2) minutes.
Extended self-test routine
recommended polling time: ( 88) minutes.
Conveyance self-test routine
recommended polling time: ( 5) minutes.
SCT capabilities: (0x3037) SCT Status supported.
SCT Feature Control supported.
SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 0
3 Spin_Up_Time 0x0027 139 139 021 Pre-fail Always - 4050
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 16
5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always - 0
7 Seek_Error_Rate 0x002e 200 200 000 Old_age Always - 0
9 Power_On_Hours 0x0032 098 098 000 Old_age Always - 1461
10 Spin_Retry_Count 0x0032 100 253 000 Old_age Always - 0
11 Calibration_Retry_Count 0x0032 100 253 000 Old_age Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 16
192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always - 13
193 Load_Cycle_Count 0x0032 200 200 000 Old_age Always - 20
194 Temperature_Celsius 0x0022 106 100 000 Old_age Always - 37
196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always - 0
197 Current_Pending_Sector 0x0032 200 200 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 100 253 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x0008 100 253 000 Old_age Offline - 0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged. [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testing
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.
pve:~#

Andreyka согласен. как еще смарт посмотреть?

WapGraf , а фиг его знает. средина третьй бессонной ночи.

172

Glueon

18 февраля 2014, 14:14

#7

Можно поднять нижний предел скорости синхронизации, чтобы быстрее ее добить.

Есть много IP-сетей в аренду под прокси, парсинг, рассылки (optin), vpn и хостинг. Телега: @contactroot ⚒ ContactRoot команда опытных сисадминов (/ru/forum/861038), свой LIR: сдаем в аренду сети IPv4/v6 (/ru/forum/1012475).

482

Андрей

18 февраля 2014, 14:15

#8

Glueon, можно, но это опасно.

172

Glueon

18 февраля 2014, 14:18

#9

Если виртуалки выключать нельзя, то это единственный вариант - поднять минимальную скорость и держать руку на пульсе.

Но почему LA был двухзначным при том, что VPS особо ничего не делают - для меня загадка. Разумно ожидать повышеный WA из-за синхронизации, но ... Посмотрите iotop еще, может что-то неприятно грузит диск и мешает синхронизироваться быстро.

M

208

masterlan

18 февраля 2014, 16:29

#10

С шагом в 500-1000 со стандартного, поднял нижний лимит до:

root@pve:~# cat /proc/sys/dev/raid/speed_limit_min
50000

При этом процесс идет так:

md0 : active raid1 sda1[2] sdb1[0]
471657280 blocks super 1.2 [2/1] [U_]
[=========>...........] recovery = 49.3% (232975296/471657280) finish=7585.2min speed=524K/sec

unused devices: <none>

speed= скачат, от 120 до 4200 , в среднем 700-1500K/sec

load average: 4,52, 4,57, 4,78 сей час.

По iotop приведу пару скринов. всплывает процесс jbd2 , и без него. Еще скрин atop.

Тесты hdparm -tT /dev/sda && hdparm -tT /dev/sdb буду делать после синхронизации рейда, боюсь как бы он не повешал машину к чертям.

png iotop-jbd.png

png iotop.png

png atop.png

Что такое Power BI и зачем это нужно бизнесу

Google: E-E-A-T не является фактором ранжирования