Нужна консультация (платная) насчет производительности дисковой подсистемы

12
M
На сайте с 28.06.2009
Offline
86
1665

Привет.

Есть два сервера на базе Atom-330 в одинаковой конфигурации.

софт на них одинаковый - CentOS 5.2 + Apache 2.2.3. Настройки одинаковые. Приложения одинаковые. Занимаются раздачей файлов по http.

Проблема в том, что первый сервер работает крайне медленно при нагрузке на файловую систему.

Виден постоянный iowait % в размере 40-80% и общий load average около 40-50 при 100 подключениях к httpd.

[root@www16 www17]# hdparm -t /dev/sdb

/dev/sdb:

Timing buffered disk reads: 10 MB in 3.01 seconds = 1.32 MB/sec

Сейчас подключений мало, около 7 штук, но скорость все равно видно что ненормальная:

[root@www16 ~]# hdparm -t /dev/sdb

/dev/sdb:

Timing buffered disk reads: 58 MB in 3.13 seconds = 18.52 MB/sec

При всем при этом, второй сервер держит нагрузки в 2-3 раза большие (до 250 одновременных соединений) и у него с дисками все замечательно:

/dev/sdb:

Timing buffered disk reads: 266 MB in 3.02 seconds = 88.13 MB/sec

Дело не в конкретном диске, так как один пробовал менять - ничего не улучшилось. На каждом сервере стоит по два диска, sda и sdb, не в массиве.

На первом сервере оба диска начинают тормозить пропорционально нагрузке httpd. На втором - вне зависимости от нагрузки работают замечательно.

Готов оплатить консультацию, которая приведет к решению проблемы или по крайней мере выявит из-за чего она происходит.

Что-то, что может еще пригодиться:

[root@www16 ~]# vmstat -S M (Тормозная машина) procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 1 49 0 51 4 1844 0 0 1481 90 133 324 1 3 59 36 0

[root@fast ~]# vmstat -S M (нетормозная машина) procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 0 50 5 1825 0 0 278 55 3 5 2 4 87 7 0

Видно, что IO/BI разнится в 5 раз...

Вот dmesg с тормозящей:

ata1: SATA max UDMA/133 cmd 0xd080 ctl 0xd000 bmdma 0xc800 irq 209

ata2: SATA max UDMA/133 cmd 0xcc00 ctl 0xc880 bmdma 0xc808 irq 209

ata2.00: ATA-7: SAMSUNG SP2004C, VM100-50, max UDMA7

ata2.00: 390721968 sectors, multi 16: LBA48 NCQ (depth 0/32)

ata2.01: ATA-7: ST3500630AS, 3.AAK, max UDMA/133

ata2.01: 976773168 sectors, multi 16: LBA48 NCQ (depth 0/32)

ata2.00: configured for UDMA/133

ata2.01: configured for UDMA/133

Vendor: ATA Model: SAMSUNG SP2004C Rev: VM10

Type: Direct-Access ANSI SCSI revision: 05

SCSI device sda: 390721968 512-byte hdwr sectors (200050 MB)

sda: Write Protect is off

sda: Mode Sense: 00 3a 00 00

SCSI device sda: drive cache: write back

SCSI device sda: 390721968 512-byte hdwr sectors (200050 MB)

sda: Write Protect is off

sda: Mode Sense: 00 3a 00 00

SCSI device sda: drive cache: write back

sda: sda1 sda2

sd 1:0:0:0: Attached scsi disk sda

Vendor: ATA Model: ST3500630AS Rev: 3.AA

Type: Direct-Access ANSI SCSI revision: 05

SCSI device sdb: 976773168 512-byte hdwr sectors (500108 MB)

sdb: Write Protect is off

sdb: Mode Sense: 00 3a 00 00

SCSI device sdb: drive cache: write back

SCSI device sdb: 976773168 512-byte hdwr sectors (500108 MB)

sdb: Write Protect is off

sdb: Mode Sense: 00 3a 00 00

SCSI device sdb: drive cache: write back

sdb: sdb1

sd 1:0:1:0: Attached scsi disk sdb

вот dmesg с нетормозящей:

ata1: SATA max UDMA/133 cmd 0x20c8 ctl 0x20ec bmdma 0x20a0 irq 185

ata2: SATA max UDMA/133 cmd 0x20c0 ctl 0x20e8 bmdma 0x20a8 irq 185

ata1.00: ATA-8: ST3500418AS, CC35, max UDMA/133

ata1.00: 976773168 sectors, multi 16: LBA48 NCQ (depth 0/32)

ata1.00: configured for UDMA/133

ata2.00: ATA-8: ST3500418AS, CC34, max UDMA/133

ata2.00: 976773168 sectors, multi 16: LBA48 NCQ (depth 0/32)

ata2.00: configured for UDMA/133

Vendor: ATA Model: ST3500418AS Rev: CC35

Type: Direct-Access ANSI SCSI revision: 05

SCSI device sda: 976773168 512-byte hdwr sectors (500108 MB)

sda: Write Protect is off

sda: Mode Sense: 00 3a 00 00

SCSI device sda: drive cache: write back

SCSI device sda: 976773168 512-byte hdwr sectors (500108 MB)

sda: Write Protect is off

sda: Mode Sense: 00 3a 00 00

SCSI device sda: drive cache: write back

sda: sda1

sd 0:0:0:0: Attached scsi disk sda

Vendor: ATA Model: ST3500418AS Rev: CC34

Type: Direct-Access ANSI SCSI revision: 05

SCSI device sdb: 976773168 512-byte hdwr sectors (500108 MB)

sdb: Write Protect is off

sdb: Mode Sense: 00 3a 00 00

SCSI device sdb: drive cache: write back

SCSI device sdb: 976773168 512-byte hdwr sectors (500108 MB)

sdb: Write Protect is off

sdb: Mode Sense: 00 3a 00 00

SCSI device sdb: drive cache: write back

sdb: sdb1

sd 1:0:0:0: Attached scsi disk sdb

Вот еще dstat с тормозной:

root@www16 iotop]# dstat

----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--

usr sys idl wai hiq siq| read writ| recv send| in out | int csw

1 1 59 36 0 2| 11M 700k| 0 0 | 0 19B|4557 1287

0 1 43 54 1 2| 12M 24k| 158k 8002k| 0 0 |4193 1390

0 1 50 47 0 2| 12M 192k| 152k 7872k| 0 0 |4120 1396

0 1 50 47 0 2| 13M 8192B| 146k 7490k| 0 0 |4004 1363

0 0 50 47 0 3| 13M 0 | 156k 8165k| 0 0 |4218 1338

0 1 49 48 0 2| 13M 0 | 155k 8384k| 0 0 |4161 1411

0 1 6 91 0 3| 13M 32k| 158k 7616k| 0 0 |4187 1382

0 1 40 58 0 2| 13M 40k| 152k 8011k| 0 0 |4129 1382

0 1 50 47 0 2| 13M 0 | 175k 8656k| 0 0 |4474 1462

0 0 50 47 0 2| 12M 0 | 145k 7501k| 0 0 |3986 1253

0 1 50 47 0 2| 13M 120k| 153k 7918k| 0 0 |4165 1399

0 0 50 47 1 2| 13M 200k| 138k 7351k| 0 0 |3906 1322

0 1 35 62 0 2| 12M 48k| 155k 8102k| 0 0 |4198 1420

0 1 29 68 0 2| 13M 0 | 148k 7655k| 0 0 |4057 1310

0 1 33 64 0 2| 14M 0 | 170k 9014k| 0 0 |4399 1418

0 0 1 97 0 2| 13M 8192B| 158k 7853k| 0 0 |4233 1414

0 1 42 55 0 2| 13M 48k| 155k 7985k| 0 0 |4186 1377

0 1 49 47 0 3| 14M 88k| 169k 8481k| 0 0 |4426 1372

0 1 50 47 0 2| 13M 8192B| 156k 8548k| 0 0 |4214 1353

0 0 30 67 0 2| 13M 0 | 156k 7839k| 0 0 |4155 1395

0 1 42 55 0 3| 14M 0 | 161k 8794k| 0 0 |4273 1407

0 1 50 47 0 2| 12M 48k| 171k 8132k| 0 0 |4321 1345

0 1 35 62 0 2| 12M 40k| 141k 7687k| 0 0 |3924 1257

4 1 32 61 0 2| 13M 0 | 151k 7856k| 0 0 |4071 1351

2 1 48 46 0 3| 13M 0 | 159k 8388k| 0 0 |4261 1394

0 1 30 67 0 2| 14M 8192B| 143k 7697k| 0 0 |3923 1272

0 0 45 52 0 3| 14M 0 | 195k 9830k| 0 0 |5136 1538

0 1 28 69 0 2| 13M 56k| 157k 8130k| 0 0 |4275 1375

0 0 28 70 0 2| 13M 296k| 145k 7717k| 0 0 |4040 1304

0 1 35 62 0 2| 13M 8192B| 168k 8518k| 0 0 |4428 1400

0 0 43 55 0 2| 14M 0 | 179k 9400k| 0 0 |4576 1512

0 1 50 48 0 2| 13M 0 | 152k 7606k| 0 0 |4091 1317

0 1 40 57 1 2| 13M 24k| 171k 8793k| 0 0 |4471 1359

0 0 28 70 0 2| 12M 8192B| 145k 7348k| 0 0 |3980 1329

0 1 13 84 0 2| 13M 32k| 173k 9097k| 0 0 |4427 1496

0 0 25 72 0 2| 13M 0 | 170k 8459k| 0 0 |4390 1410

0 1 30 67 0 2| 12M 0 | 150k 7658k| 0 0 |4123 1210

0 1 50 47 0 2| 14M 8192B| 166k 8653k| 0 0 |4344 1333

1 1 50 46 0 2| 13M 96k| 161k 8328k| 0 0 |4254 1364

0 0 30 67 1 2| 13M 56k| 180k 9558k| 0 0 |4624 1495

0 1 38 59 0 2| 12M 0 | 158k 8010k| 0 0 |4219 1251

0 0 50 47 0 2| 14M 0 | 155k 8911k| 0 0 |4163 1466

1 1 50 46 0 3| 13M 240k| 180k 8781k| 0 0 |4592 1379

0 1 50 47 0 2| 13M 8192B| 159k 8408k| 0 0 |4222 1395

0 1 50 46 0 3| 13M 0 | 183k 9592k| 0 0 |4607 1381

1 0 50 47 1 2| 13M 256k| 162k 8168k| 0 0 |4309 1351

Andreyka
На сайте с 19.02.2005
Offline
822
#1

Скиньте мне ssh доступы к серверам в ЛС/мессенджер, думаю что смогу помочь

Не стоит плодить сущности без необходимости
M
На сайте с 16.09.2009
Offline
278
#2

если проблема еще не решена, киньте в топик hdparm -i для дисков

Абонементное сопровождение серверов (Debian) Отправить личное сообщение (), написать письмо ().
M
На сайте с 28.06.2009
Offline
86
#3
myhand:
если проблема еще не решена, киньте в топик hdparm -i для дисков

Не решена...

Для тормозной машины:

/dev/sdb:

Model=ST3500630AS , FwRev=3.AAK , SerialNo= 6QG14M7J

Config={ HardSect NotMFM HdSw>15uSec Fixed DTR>10Mbs RotSpdTol>.5% }

RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=4

BuffType=unknown, BuffSize=16384kB, MaxMultSect=16, MultSect=?16?

CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=268435455

IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}

PIO modes: pio0 pio1 pio2 pio3 pio4

DMA modes: mdma0 mdma1 mdma2

UDMA modes: udma0 udma1 udma2

AdvancedPM=no WriteCache=enabled

Drive conforms to: Unspecified: ATA/ATAPI-1 ATA/ATAPI-2 ATA/ATAPI-3 ATA/ATAPI-4 ATA/ATAPI-5 ATA/ATAPI-6 ATA/ATAPI-7

* signifies the current active mode

/dev/sdb:

ATA device, with non-removable media

Model Number: ST3500630AS

Serial Number: 6QG14M7J

Firmware Revision: 3.AAK

Standards:

Supported: 7 6 5 4

Likely used: 7

Configuration:

Logical max current

cylinders 16383 16383

heads 16 16

sectors/track 63 63

--

CHS current addressable sectors: 16514064

LBA user addressable sectors: 268435455

LBA48 user addressable sectors: 976773168

device size with M = 1024*1024: 476940 MBytes

device size with M = 1000*1000: 500107 MBytes (500 GB)

Capabilities:

LBA, IORDY(can be disabled)

Queue depth: 32

Standby timer values: spec'd by Standard, no device specific minimum

R/W multiple sector transfer: Max = 16 Current = 16

Recommended acoustic management value: 254, current value: 0

DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 udma5 *udma6

Cycle time: min=120ns recommended=120ns

PIO: pio0 pio1 pio2 pio3 pio4

Cycle time: no flow control=120ns IORDY flow control=120ns

Commands/features:

Enabled Supported:

* SMART feature set

Security Mode feature set

* Power Management feature set

* Write cache

* Look-ahead

* Host Protected Area feature set

* WRITE_BUFFER command

* READ_BUFFER command

* DOWNLOAD_MICROCODE

SET_MAX security extension

* 48-bit Address feature set

* Device Configuration Overlay feature set

* Mandatory FLUSH_CACHE

* FLUSH_CACHE_EXT

* SMART error logging

* SMART self-test

* General Purpose Logging feature set

* SATA-I signaling speed (1.5Gb/s)

* Native Command Queueing (NCQ)

* Phy event counters

Device-initiated interface power management

* Software settings preservation

Security:

Master password revision code = 65534

supported

not enabled

not locked

frozen

not expired: security count

not supported: enhanced erase

Checksum: correct

на нетормозной:

/dev/sdb:

Model=ST3500418AS , FwRev=CC34 , SerialNo= 6VM0DM15

Config={ HardSect NotMFM HdSw>15uSec Fixed DTR>10Mbs RotSpdTol>.5% }

RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=4

BuffType=unknown, BuffSize=16384kB, MaxMultSect=16, MultSect=?16?

CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=268435455

IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}

PIO modes: pio0 pio1 pio2 pio3 pio4

DMA modes: mdma0 mdma1 mdma2

UDMA modes: udma0 udma1 udma2

AdvancedPM=no WriteCache=enabled

Drive conforms to: unknown: ATA/ATAPI-4 ATA/ATAPI-5 ATA/ATAPI-6 ATA/ATAPI-7

* signifies the current active mode

/dev/sdb:

ATA device, with non-removable media

Model Number: ST3500418AS

Serial Number: 6VM0DM15

Firmware Revision: CC34

Transport: Serial

Standards:

Supported: 8 7 6 5

Likely used: 8

Configuration:

Logical max current

cylinders 16383 16383

heads 16 16

sectors/track 63 63

--

CHS current addressable sectors: 16514064

LBA user addressable sectors: 268435455

LBA48 user addressable sectors: 976773168

device size with M = 1024*1024: 476940 MBytes

device size with M = 1000*1000: 500107 MBytes (500 GB)

Capabilities:

LBA, IORDY(can be disabled)

Queue depth: 32

Standby timer values: spec'd by Standard, no device specific minimum

R/W multiple sector transfer: Max = 16 Current = 16

Recommended acoustic management value: 254, current value: 0

DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 udma5 *udma6

Cycle time: min=120ns recommended=120ns

PIO: pio0 pio1 pio2 pio3 pio4

Cycle time: no flow control=120ns IORDY flow control=120ns

Commands/features:

Enabled Supported:

* SMART feature set

Security Mode feature set

* Power Management feature set

* Write cache

* Look-ahead

* Host Protected Area feature set

* WRITE_BUFFER command

* READ_BUFFER command

* DOWNLOAD_MICROCODE

Power-Up In Standby feature set

SET_FEATURES required to spinup after power up

SET_MAX security extension

* Automatic Acoustic Management feature set

* 48-bit Address feature set

* Device Configuration Overlay feature set

* Mandatory FLUSH_CACHE

* FLUSH_CACHE_EXT

* SMART error logging

* SMART self-test

* General Purpose Logging feature set

* WRITE_{DMA|MULTIPLE}_FUA_EXT

* 64-bit World wide name

Write-Read-Verify feature set

* WRITE_UNCORRECTABLE command

* {READ,WRITE}_DMA_EXT_GPL commands

* Segmented DOWNLOAD_MICROCODE

* SATA-I signaling speed (1.5Gb/s)

* SATA-II signaling speed (3.0Gb/s)

* Native Command Queueing (NCQ)

* Phy event counters

Device-initiated interface power management

* Software settings preservation

Security:

Master password revision code = 65534

supported

not enabled

not locked

frozen

not expired: security count

supported: enhanced erase

80min for SECURITY ERASE UNIT. 80min for ENHANCED SECURITY ERASE UNIT.

Checksum: correct

Moskovitter добавил 10.11.2009 в 14:19

Еще из dmesg:

тормозной:

ata1: SATA max UDMA/133 cmd 0xd080 ctl 0xd000 bmdma 0xc800 irq 209

ata2: SATA max UDMA/133 cmd 0xcc00 ctl 0xc880 bmdma 0xc808 irq 209

ata2.00: ATA-7: SAMSUNG SP2004C, VM100-50, max UDMA7

ata2.01: ATA-7: ST3500630AS, 3.AAK, max UDMA/133

ata2.00: configured for UDMA/133

ata2.01: configured for UDMA/133

нетормозной:

ata1: SATA max UDMA/133 cmd 0x20c8 ctl 0x20ec bmdma 0x20a0 irq 185

ata2: SATA max UDMA/133 cmd 0x20c0 ctl 0x20e8 bmdma 0x20a8 irq 185

ata1.00: ATA-8: ST3500418AS, CC35, max UDMA/133

ata1.00: configured for UDMA/133

ata2.00: ATA-8: ST3500418AS, CC34, max UDMA/133

ata2.00: configured for UDMA/133

M
На сайте с 16.09.2009
Offline
278
#4

еще бы биосы сравнить. уверены, что в "тормозящем" сервере не включен

какой-либо legacy режим?

M
На сайте с 28.06.2009
Offline
86
#5

Сервера в США, пинал несколько раз тамошнюю поддержку. Говорят, что в BIOS-е нету никаких специфических настроек.

M
На сайте с 16.09.2009
Offline
278
#6

вы меняли именно sdb диск? // который ST3500630AS

M
На сайте с 28.06.2009
Offline
86
#7

Да, менялся sdb.

Так же у апача сконфигурированы два виртуалхоста, файлы расположены на двух дисках - sda и sdb

Допустим, www1.com - > sda

www2.com -> sdb

Как только число подключений httpd к www1.com превышает 20-30, sda начинает тормозить.

Соответственно, при росте подключений к www2.com, начинает тормозить sdb

Если в целом много подключений, тормозят оба :-)

M
На сайте с 16.09.2009
Offline
278
#8

больше чем уверен - проблема в старом самсунге. должно

вылечиться, если замените на модель, аналогичную второму диску.

M
На сайте с 28.06.2009
Offline
86
#9

А как "старый самсунг" может влиять на общую производительность в целом и на производительность второго диска в частности?

Даже если отключить сайт, который на нем висит и оставить только на /dev/sdb (где Сигейт), то Сигейт тоже начинает тормозить пропорционально количеству запросов... Начиная где-то с 30-40 уже еле-еле отзывается (Timing buffered disk reads: 10 MB in 3.01 seconds = 1.32 MB/sec)

M
На сайте с 16.09.2009
Offline
278
#10

диск-то остается подключенным к контроллеру, тот может учитывать

какие режимы он поддерживает при работе

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий