masterlan

Рейтинг
208
Регистрация
14.01.2010
Сервер или VPS в Краснодаре?

Те которые будут работать с физ лицом и его малыми объемами. Некоторым интересны лишь крупные клиенты.

Развалился raid0
kpv:
Примерное время ребилда сколько осталось?
Если много, то:

1. Отправить сервер в ребут с выключением питания. Может у контроллера крыша поехала - самый простой способ вырубить сервер по питанию. Есть риск большой, что не стартанёт и застрянет при загрузке, поэтому лучше делать при наличии квм и живых рук рядом.
2. Попробовать шлейф поменять и в другой sata порт воткнуть. Если скорость не поменяется, то значит железо подыхает. Вынимаем диски в другой (подменный) сервер - если картина повторяется, значит винт.

Уже почти не много:

Personalities : [raid1]
md0 : active raid1 sda1[2] sdb1[0]
471657280 blocks super 1.2 [2/1] [U_]
[=============>.......] recovery = 67.1% (316661632/471657280) finish=2271.4min speed=1137K/sec

надеюсь к пятнице закончит)

1. Ребутить сервер, во время синхронизации.. В лучшем случае синхронизация начнется с начала, а в худшем - потеря работающей (хоть как-то) системы.

Так?

2. Есть маааленькая вероятность того что может sata шлейф отошел, но.... сами понимаете.

Да и с подменным сервером трабл - разве что брать с собой материнку с процем и гонять по месту )

Ждать окончания ребилда т.к. винт на котором живет система, и с которого идет синхронизация - под вопросом.

Развалился raid0

Отключил все возможные виртуалки. Вот

root@pve:~# iostat -dx 3
Linux 2.6.32-26-pve (pve) 19.02.2014 _x86_64_ (4 CPU)

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0,00 15,42 0,01 4,96 0,20 1058,01 426,44 0,11 23,02 15,09 23,03 7,51 3,73
sdb 12,53 4,59 4,21 3,86 1036,36 69,25 274,11 7,16 887,64 358,45 1465,46 120,16 96,93
md0 0,00 0,00 0,71 8,33 9,89 69,19 17,49 0,00 0,00 0,00 0,00 0,00 0,00

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0,00 0,00 0,00 1,67 0,00 661,50 793,80 0,07 54,60 0,00 54,60 15,40 2,57
sdb 8,33 0,00 0,67 0,00 85,33 0,00 256,00 5,76 1990,00 1990,00 0,00 1488,00 99,20
md0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
sdb 0,00 0,00 0,33 0,00 170,67 0,17 1025,00 4,52 4545,00 4545,00 0,00 3000,00 100,00
md0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0,00 11,33 0,00 5,33 0,00 790,67 296,50 0,04 8,12 0,00 8,12 7,81 4,17
sdb 9,33 2,00 2,00 3,00 512,00 22,67 213,87 1,66 1784,40 3241,33 813,11 199,40 99,70
md0 0,00 0,00 0,00 4,67 0,00 22,67 9,71 0,00 0,00 0,00 0,00 0,00 0,00

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0,00 88,00 0,00 14,67 0,00 6528,33 890,23 0,16 10,77 0,00 10,77 8,32 12,20
sdb 87,67 0,00 14,67 0,33 6528,00 0,17 870,42 4,40 154,53 141,43 731,00 66,64 99,97
md0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
sdb 0,00 0,00 1,00 0,00 512,00 0,17 1024,33 3,11 2696,33 2696,33 0,00 1000,00 100,00
md0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0,00 7,00 0,00 1,00 0,00 512,00 1024,00 0,00 4,33 0,00 4,33 2,33 0,23
sdb 0,00 0,00 0,00 0,33 0,00 0,00 0,00 2,00 4760,00 0,00 4760,00 3000,00 100,00
md0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00

^C
root@pve:~#
Развалился raid0

На данный момент запущена синхронизация массива, будет ли уместен вывод iostat -dx 3 ?

Развалился raid0

машина на колке, сами понимаете - это не их задача.

Развалился raid0

WapGraf, наверное я не корректно выразился.

Не raid контроллер, а sata контроллер на материнке который.

Еще мне показался странным тот факт, что судя по atop нагрузка на sdb. А вылетел из массива sda .

Развалился raid0
WapGraf:
sdb всегда так нагружен? 
iostat -dx 3

Вот вывод iostat


root@pve:~# iostat -dx 3
Linux 2.6.32-26-pve (pve) 18.02.2014 _x86_64_ (4 CPU)

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0,00 15,38 0,01 4,96 0,22 1048,99 422,96 0,11 22,05 14,37 22,06 7,30 3,62
sdb 12,45 4,92 4,22 4,03 1028,62 72,65 266,98 7,43 900,86 347,86 1481,25 117,25 96,73
md0 0,00 0,00 0,77 8,84 10,85 72,59 17,36 0,00 0,00 0,00 0,00 0,00 0,00

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0,00 22,00 0,00 9,00 0,00 341,33 75,85 0,25 27,89 0,00 27,89 7,89 7,10
sdb 1,00 21,33 2,67 6,00 234,67 109,33 79,38 5,47 673,00 1,38 971,50 115,15 99,80
md0 0,00 0,00 0,00 27,33 0,00 106,67 7,80 0,00 0,00 0,00 0,00 0,00 0,00

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
sdb 0,00 0,00 0,00 0,00 0,00 1,33 0,00 2,00 0,00 0,00 0,00 0,00 100,00
md0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00

^C
root@pve:~# ^C

sdb и сей час 95-97%

Кстати, как определить, контроллер или винт?

Развалился raid0

С шагом в 500-1000 со стандартного, поднял нижний лимит до:

root@pve:~# cat /proc/sys/dev/raid/speed_limit_min
50000

При этом процесс идет так:

md0 : active raid1 sda1[2] sdb1[0]
471657280 blocks super 1.2 [2/1] [U_]
[=========>...........] recovery = 49.3% (232975296/471657280) finish=7585.2min speed=524K/sec

unused devices: <none>

speed= скачат, от 120 до 4200 , в среднем 700-1500K/sec

load average: 4,52, 4,57, 4,78 сей час.

По iotop приведу пару скринов. всплывает процесс jbd2 , и без него. Еще скрин atop.

Тесты hdparm -tT /dev/sda && hdparm -tT /dev/sdb буду делать после синхронизации рейда, боюсь как бы он не повешал машину к чертям.

png iotop-jbd.png
png iotop.png
png atop.png
Развалился raid0

Смарты:

root@pve:~# smartctl -a /dev/sda
smartctl 5.41 2011-06-09 r3365 [x86_64-linux-2.6.32-26-pve] (local build)

=== START OF INFORMATION SECTION ===
Model Family: Western Digital Caviar Blue Serial ATA
Device Model: WDC WD5000AAKX-001CA0
Serial Number: WD-WMAYUW923888
LU WWN Device Id: 5 0014ee 657ca20f6
Firmware Version: 15.01H15
User Capacity: 500.107.862.016 bytes [500 GB]
Sector Size: 512 bytes logical/physical

ATA Version is: 8
ATA Standard is: Exact ATA specification draft version not indicated
Local Time is: Tue Feb 18 13:40:21 2014 EET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status: (0x82) Offline data collection activity
was completed without error.
Auto Offline Data Collection: Enabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: ( 8400) seconds.
Offline data collection
capabilities: (0x7b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 2) minutes.
Extended self-test routine
recommended polling time: ( 85) minutes.
Conveyance self-test routine
recommended polling time: ( 5) minutes.
SCT capabilities: (0x3037) SCT Status supported.
SCT Feature Control supported.
SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 0
3 Spin_Up_Time 0x0027 135 135 021 Pre-fail Always - 4216
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 37
5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always - 0
7 Seek_Error_Rate 0x002e 200 200 000 Old_age Always - 0
9 Power_On_Hours 0x0032 086 086 000 Old_age Always - 10380
10 Spin_Retry_Count 0x0032 100 253 000 Old_age Always - 0
11 Calibration_Retry_Count 0x0032 100 253 000 Old_age Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 35
192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always - 30
193 Load_Cycle_Count 0x0032 200 200 000 Old_age Always - 6
194 Temperature_Celsius 0x0022 105 096 000 Old_age Always - 38
196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always - 0
197 Current_Pending_Sector 0x0032 200 200 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 200 200 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x0008 200 200 000 Old_age Offline - 0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1

SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testing
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.

второй винт

root@pve:~# smartctl -a /dev/sdb
=== START OF INFORMATION SECTION ===
Model Family: Western Digital Caviar Blue Serial ATA
Device Model: WDC WD5000AAKX-22ERMA0
Serial Number: WD-WCC2EMF63022
LU WWN Device Id: 5 0014ee 25e46a423
Firmware Version: 17.01H17
User Capacity: 500.107.862.016 bytes [500 GB]
Sector Size: 512 bytes logical/physical
ATA Version is: 8
ATA Standard is: Exact ATA specification draft version not indicated
Local Time is: Tue Feb 18 13:41:20 2014 EET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status: (0x80) Offline data collection activity
was never started.
Auto Offline Data Collection: Enabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: ( 8700) seconds.
Offline data collection
capabilities: (0x7b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 2) minutes.
Extended self-test routine
recommended polling time: ( 88) minutes.
Conveyance self-test routine
recommended polling time: ( 5) minutes.
SCT capabilities: (0x3037) SCT Status supported.
SCT Feature Control supported.
SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 0
3 Spin_Up_Time 0x0027 139 139 021 Pre-fail Always - 4050
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 16
5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always - 0
7 Seek_Error_Rate 0x002e 200 200 000 Old_age Always - 0
9 Power_On_Hours 0x0032 098 098 000 Old_age Always - 1461
10 Spin_Retry_Count 0x0032 100 253 000 Old_age Always - 0
11 Calibration_Retry_Count 0x0032 100 253 000 Old_age Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 16
192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always - 13
193 Load_Cycle_Count 0x0032 200 200 000 Old_age Always - 20
194 Temperature_Celsius 0x0022 106 100 000 Old_age Always - 37
196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always - 0
197 Current_Pending_Sector 0x0032 200 200 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 100 253 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x0008 100 253 000 Old_age Offline - 0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged. [To run self-tests, use: smartctl -t]


SMART Selective self-test log data structure revision number 1
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testing
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.
pve:~#

Andreyka согласен. как еще смарт посмотреть?

WapGraf , а фиг его знает. средина третьй бессонной ночи.

гигабитный коммутатор и 100мбтный роутер

Согласен с Rimlyanin . Может с режимами duplex поиграть на сетевухах / портах?

1... 282930313233343536 ...253
Всего: 2523