Slave не догоняет master. В чем может быть проблема?

pt-mysql-summary SLAVE

# Percona Toolkit MySQL Summary Report #######################

System time | 2015-06-17 14:19:59 *****

# Instances ##################################################

Port Data Directory Nice OOM Socket

===== ========================== ==== === ======

PORT /home/mysql2/ 0 0 ПУТЬ ДО СОКЕТА

/var/lib/mysql 0 0

# MySQL Executable ###########################################

Path to executable | /usr/sbin/mysqld

Has symbols | No

# Report On Port ПОРТ ########################################

User | root@localhost

Time | 2015-06-17 14:19:59 (UTC)

Hostname | SLAVE

Version | 5.5.42-37.1 Percona Server (GPL), Release 37.1, Revision 39acee0

Built On | debian-linux-gnu x86_64

Started | 2015-06-17 14:17 (up 0+00:02:44)

Databases | 4

Datadir | DATADIR

Processes | 1 connected, 1 running

Replication | Is not a slave, has 0 slaves connected

Pidfile | /var/lib/mysql/pidfile.pid (exists)

# Processlist ################################################

Command COUNT(*) Working SUM(Time) MAX(Time)

------------------------------ -------- ------- --------- ---------

Query 1 1 0 0

User COUNT(*) Working SUM(Time) MAX(Time)

------------------------------ -------- ------- --------- ---------

root 1 1 0 0

Host COUNT(*) Working SUM(Time) MAX(Time)

------------------------------ -------- ------- --------- ---------

localhost 1 1 0 0

db COUNT(*) Working SUM(Time) MAX(Time)

------------------------------ -------- ------- --------- ---------

NULL 1 1 0 0

State COUNT(*) Working SUM(Time) MAX(Time)

------------------------------ -------- ------- --------- ---------

NULL 1 1 0 0

# Status Counters (Wait 10 Seconds) ##########################

Variable Per day Per second 11 secs

Aborted_connects 6000

Bytes_received 800000 9 200

Bytes_sent 12500000 150 2250

Com_select 1500 1

Com_show_status 1000

Com_show_variables 500

Connections 8000 1

Created_tmp_files 3000

Created_tmp_tables 1500 6

Flush_commands 500

Handler_read_first 1500

Handler_read_rnd_next 450000 4 40

Handler_write 400000 4 40

Innodb_adaptive_hash_cells 150000000 1750

Innodb_adaptive_hash_non_hash_searches 10000

Innodb_background_log_sync 500

Innodb_buffer_pool_bytes_data 1250000000 15000

Innodb_buffer_pool_read_requests 250000 2

Innodb_buffer_pool_reads 80000

Innodb_checkpoint_max_age 4000000000 45000

Innodb_checkpoint_target_age 4000000000 45000

Innodb_data_fsyncs 1500

Innodb_data_read 2500000000 30000

Innodb_data_reads 80000

Innodb_data_writes 1500

Innodb_data_written 800000 9

Innodb_dict_tables 4000

Innodb_ibuf_segment_size 1000

Innodb_ibuf_size 500

Innodb_log_writes 500

Innodb_lsn_current 800000000 10000

Innodb_lsn_flushed 800000000 10000

Innodb_lsn_last_checkpoint 800000000 10000

Innodb_master_thread_1_second_loops 500

Innodb_master_thread_background_loops 500

Innodb_master_thread_main_flush_loops 500

Innodb_master_thread_sleeps 500

Innodb_max_trx_id 900000 10

Innodb_mem_adaptive_hash 1250000000 12500

Innodb_mem_dictionary 300000000 3500

Innodb_mem_total 70000000000 800000

Innodb_mutex_os_waits 500

Innodb_mutex_spin_rounds 15000

Innodb_mutex_spin_waits 500

Innodb_oldest_view_low_limit_trx_id 900000 10

Innodb_os_log_fsyncs 1500

Innodb_os_log_written 250000 3

Innodb_pages_read 80000

Innodb_read_views_memory 45000

Innodb_descriptors_memory 4000000 50

Innodb_s_lock_os_waits 1000

Innodb_s_lock_spin_rounds 30000

Innodb_s_lock_spin_waits 1000

Open_table_definitions 17500

Opened_files 40000 4

Opened_table_definitions 17500

Opened_tables 17500

Queries 4500 3

Questions 4000 3

Select_scan 1500

Table_locks_immediate 20000

Threads_created 8000 1

Uptime 90000 1 1

# Table cache ################################################

Size | 400

Usage | 6%

# Key Percona Server features ################################

Table & Index Stats | Disabled

Multiple I/O Threads | Enabled

Corruption Resilient | Enabled

Durable Replication | Disabled

Import InnoDB Tables | Disabled

Fast Server Restarts | Disabled

Enhanced Logging | Disabled

Replica Perf Logging | Disabled

Response Time Hist. | Disabled

Smooth Flushing | Enabled

HandlerSocket NoSQL | Disabled

Fast Hash UDFs | Unknown

# Plugins ####################################################

InnoDB compression | ACTIVE

# Query cache ################################################

query_cache_type | ON

Size | 0.0

Usage | 0%

HitToInsertRatio | 0%

# Schema #####################################################

Specify --databases or --all-databases to dump and summarize schemas

# Noteworthy Technologies ####################################

SSL | No

Explicit LOCK TABLES | No

Delayed Insert | No

XA Transactions | No

NDB Cluster | No

Prepared Statements | No

Prepared statement count | 0

# InnoDB #####################################################

Version | 5.5.42-37.1

Buffer Pool Size | 128.0M

Buffer Pool Fill | 1%

Buffer Pool Dirty | 0%

File Per Table | OFF

Page Size | 16k

Log File Size | 2 * 5.0M = 10.0M

Log Buffer Size | 8M

Flush Method |

Flush Log At Commit | 1

XA Support | ON

Checksums | ON

Doublewrite | ON

R/W I/O Threads | 4 4

I/O Capacity | 200

Thread Concurrency | 0

Concurrency Tickets | 500

Commit Concurrency | 0

Txn Isolation Level | REPEATABLE-READ

Adaptive Flushing | ON

Adaptive Checkpoint |

Checkpoint Age | 0

InnoDB Queue | 0 queries inside InnoDB, 0 queries in queue

Oldest Transaction | 0 Seconds

History List Len | 0

Read Views | 1

Undo Log Entries | 0 transactions, 0 total undo, 0 max undo

Pending I/O Reads | 0 buf pool reads, 0 normal AIO, 0 ibuf AIO, 0 preads

Pending I/O Writes | 0 buf pool (0 LRU, 0 flush list, 0 page); 0 AIO, 0 sync, 0 log IO (0 log, 0 chkp); 0 pwrites

Pending I/O Flushes | 0 buf pool, 0 log

Transaction States | 1xnot started

# MyISAM #####################################################

Key Cache | 8.0M

Pct Used | 20%

Unflushed | 0%

# Security ###################################################

Users | 7 users, 2 anon, 2 w/o pw, 2 old pw

Old Passwords | OFF

# Binary Logging #############################################

# Noteworthy Variables #######################################

Auto-Inc Incr/Offset | 1/1

default_storage_engine | InnoDB

flush_time | 0

init_connect |

init_file |

sql_mode |

join_buffer_size | 128k

sort_buffer_size | 2M

read_buffer_size | 128k

read_rnd_buffer_size | 256k

bulk_insert_buffer | 0.00

max_heap_table_size | 16M

tmp_table_size | 16M

max_allowed_packet | 1M

thread_stack | 256k

log | OFF

log_error | /var/lib/mysql/****.err

log_warnings | 1

log_slow_queries | OFF

log_queries_not_using_indexes | OFF

log_slave_updates | OFF

Не многовато ли звездочек ? В этом отчете ничего особо секретного ведь нет. Смысл запуска этой программы в том, чтобы собрать максимально подробно информацию без раскрытия паролей и тд. Иначе вы тут можете месяц на уточняющие вопросы отвечать.

Можно IP и hostname поубирать, а остальное важно.

Не видно load average, не видно загрузку через vmstat (возможно программа vmstat не установлена), не видно как именно используется дисковый контроллер Fusion MPT.

Кроме того, pt-mysql-summary должен выводить конфиг mysql, в котором тоже практически нечего скрывать.

А самое важно вы удалили Top Processes во втором отчете pt-summary.

Могу только предложить принудительно разогнать процессор на slave (погуглить "linux governor performance" ).

Да и, может, попробовать вместо percona server обычный mysql ?

# Top Processes ##############################################

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

19618 root 39 19 1616m 1,6g 548 R 94 1,7 2:28.18 ******

19617 root 39 19 1572 520 436 R 83 0,0 2:05.32 ******

19616 root 39 19 46332 2976 2260 S 59 0,0 1:14.30 mysql

6783 mysql 20 0 3081m 2,4g 6980 S 47 2,6 7:22.87 mysqld

21951 root 20 0 23304 1508 1084 R 6 0,0 0:00.02 top

1 root 20 0 10652 812 680 S 0 0,0 0:04.46 init

2 root 20 0 0 0 0 S 0 0,0 0:00.10 kthreadd

3 root 20 0 0 0 0 S 0 0,0 0:01.64 ksoftirqd/0

6 root rt 0 0 0 0 S 0 0,0 0:00.21 migration/0

# Simplified and fuzzy rounded vmstat (wait please) ##########

procs ---swap-- -----io---- ---system---- --------cpu--------

r b si so bi bo ir cs us sy il wa st

6 2 0 0 30 125 45 50 11 0 86 3

4 2 0 0 12500 4000 9000 12500 11 2 82 6

6 0 0 0 1250 700 7000 10000 15 1 82 2

6 1 0 0 20000 225 7000 10000 24 1 73 2

5 1 0 0 35000 175 7000 10000 21 1 77 2

# The End ####################################################

load average: 3,67, 3,48, 3,72

Спасибо, что помогаете решить эту проблему. На percona все сервера с mysql, без нее никак.

На сервере крутится несколько процессов mysqld через mysqld_multi. Эта репликация будет уже 5-я.

Надеюсь slave запустится

а это не mysqld ?

автоматическое поднятие частоты, как мне кажется, работает.

Тут вы видите, что показатель iowait по секундам меняется как 87-82-73 % ?

оно в top было бы заметно. То есть, нагрузка-то на диски есть и приличная.

Я бы проверил статус raid. Такие программы как mpt-status или mpt-status должны прояснить это. Если с программами совсем туго, можно перезагрузиться и из bios посмотреть не развалилось ли чего.

Как мне кажется, остальные slave тоже могут начать отставать если на одном уже 2-3 часа разницы накопилось.

Потому что на локальном mysql запросы идут в несколько потоков, а при передаче через лог реплики - в один

Действительно, если делать репликацию без одной базы, то репликация идет нормально..

se0master, а я вообще не прослеживаю логики в констатации общеизвестных фактов этим блоггером и вашим решением. Поясните ?