Как часто делать md2_resync ?

AGHost, смысл в получении уверенности в сохранности данных. Спешка тут не нужна.

Некоторые считают, что нагрузка на диск такая же пластичная как на процессор. Однако, процессор может почти моментально переключиться и начать обрабатывать более приоритетную задачу. И все видели как это работает. А жесткий диск, если начал перемещать головку, то уже не может остановиться и начать перемещать в другом направлении. Единственный выход - не давать слишком оптимистичных заданий. Ограничить скорость синхронизации.

Если у вас все работает - вы диски не нагружаете полностью.

Я бы тут вообще отключил синхронизацию, сделал бекап и разбирался что там происходит. Были ситуации, когда при синхронизации диск умирал и массив разваливался.

Это не имеет ничего общего с нашими услугами, я делился сугубо личным опытом работы с софт-рейдом.

Вы правы. Под пиковой нагрузкой 60-80%

Завтра попробую сделать тюнинг системы. На сервере только php-fpm и nginx. Скорее всего кто-то из них.

xcache пишет кэш в /tmp. Есть смысл сделать для него tmpfs ?

В nginx 8 worker-ов. Есть смысл убавить до 4?

Kpd, а что пишет на диск? Загоните кеши в tmpfs, если памяти много. И SMART дисков скиньте.

Зависит от количества ядер в системе.

И в вашем случае это ничего не поменяет.

Kpd, начните с изучения данных от iotop.

Total DISK READ :     914.72 K/s | Total DISK WRITE :     123.10 K/s

Actual DISK READ:     913.92 K/s | Actual DISK WRITE:     375.29 K/s

  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND

  510 be/4 root        0.00 B/s    0.00 B/s  0.00 % 21.95 % [xfsaild/md125]

11812 be/4 nginx      60.95 K/s   13.94 K/s  0.00 % 10.75 % nginx: worker process

11809 be/4 nginx      64.54 K/s   18.72 K/s  0.00 % 10.36 % nginx: worker process

11814 be/4 nginx      60.56 K/s   15.94 K/s  0.00 %  8.85 % nginx: worker process

11815 be/4 nginx      72.51 K/s   20.72 K/s  0.00 %  6.67 % nginx: worker process

11813 be/4 nginx      40.64 K/s    7.57 K/s  0.00 %  5.56 % nginx: worker process

11808 be/4 nginx      50.99 K/s   10.76 K/s  0.00 %  5.11 % nginx: worker process

11811 be/4 nginx      68.92 K/s   16.33 K/s  0.00 %  4.40 % nginx: worker process

22365 be/4 user       13.55 K/s    0.00 B/s  0.00 %  4.23 % php-fpm: pool user

22401 be/4 user       28.29 K/s    0.00 B/s  0.00 %  4.02 % php-fpm: pool user

22448 be/4 user       21.51 K/s    0.00 B/s  0.00 %  3.47 % php-fpm: pool user

22487 be/4 user       40.24 K/s    0.00 B/s  0.00 %  3.29 % php-fpm: pool user

11810 be/4 nginx      50.20 K/s   16.73 K/s  0.00 %  3.29 % nginx: worker process

 1595 be/4 root        0.00 B/s 1223.87 B/s  0.00 %  3.14 % da-popb4smtp

22469 be/4 user        8.76 K/s    0.00 B/s  0.00 %  2.83 % php-fpm: pool user

22264 be/4 user        6.77 K/s    0.00 B/s  0.00 %  2.79 % php-fpm: pool user

22259 be/4 user        9.56 K/s    0.00 B/s  0.00 %  2.19 % php-fpm: pool user

22377 be/4 user        7.97 K/s    0.00 B/s  0.00 %  1.91 % php-fpm: pool user

22478 be/4 user        7.97 K/s    0.00 B/s  0.00 %  1.87 % php-fpm: pool user

22551 be/4 user        9.16 K/s    0.00 B/s  0.00 %  1.73 % php-fpm: pool user

22236 be/4 user        5.18 K/s    0.00 B/s  0.00 %  1.54 % php-fpm: pool user

22470 be/4 user        9.16 K/s    0.00 B/s  0.00 %  1.51 % php-fpm: pool user

22605 be/4 user       16.73 K/s    0.00 B/s  0.00 %  1.50 % php-fpm: pool user

22397 be/4 user        7.17 K/s    0.00 B/s  0.00 %  1.39 % php-fpm: pool user

22592 be/4 user       14.74 K/s    0.00 B/s  0.00 %  1.37 % php-fpm: pool user

22559 be/4 user       12.35 K/s    0.00 B/s  0.00 %  1.36 % php-fpm: pool user

22400 be/4 user        4.38 K/s    0.00 B/s  0.00 %  1.34 % php-fpm: pool user

22385 be/4 user       17.53 K/s    0.00 B/s  0.00 %  1.33 % php-fpm: pool user

22529 be/4 user        6.37 K/s  407.96 B/s  0.00 %  1.29 % php-fpm: pool user

22631 be/4 user        4.78 K/s    0.00 B/s  0.00 %  1.26 % php-fpm: pool user

22531 be/4 user       11.16 K/s    0.00 B/s  0.00 %  1.24 % php-fpm: pool user

22493 be/4 user     1631.83 B/s    0.00 B/s  0.00 %  1.16 % php-fpm: pool user

22593 be/4 user        8.37 K/s    0.00 B/s  0.00 %  1.16 % php-fpm: pool user

Сейчас нагрузка примерно половина от пиковой.

Получается, что пишет только nginx логи (статика в лог не пишется).

И читает больше всех nginx

Может быть так, что nginx очень активно читает?

---------- Добавлено 30.04.2016 в 11:31 ----------

Вообще я заметил, что диски больше тормозят на чтении.

Например, создание бэкапов не вызывает заметных тормозов.

Но перекачка бэкапов через NFS уже заметна (la подскакивает с 3 до 10-12).

Может. Почему бы ему не читать, если это его основная функция ?

Да всего у вас понемножку и сосредоточиться не на чем.

По-моему, nginx многовато пишет. Вот от лишней записи имеет смысл избавляться.

Используются ли буферы ответов, то есть создаются ли файлы в /var/spool/nginx/cache/ ? Агрессивное кеширование в файлы (как у сеонизаторов модно) ?

А Вы уверены, что

это половина от пиковой нагрузки? Цифры то какие-то совсем крошечные.

Вы бы остановили всё и проверили скорость чтения с диска при нулевой активности. Может диски давно умерли.

production, нельзя останавливать

Опытным путем установил, что nginx пишут в access_log. Отключил все access_log и запись упала почти до 0.

Но глобально это ничего не изменило.

Есть кэширование страниц целиком, но в /tmpfs . Отключение его опять же не изменило нагрузку на диск (скорее стало хуже от самого факта отключения кэширования, оно сокращает примерно на 10% запросы к бэкаэнду).

Также попробовал уменьшить количество workier-ов в nginx. Не помогло.

Все вышеописанное делал по отдельности с перезапуском nginx.

---------- Добавлено 02.05.2016 в 11:22 ----------

Сегодня recync опять запустился. Сейчас пишет со скоростью 40Mb/s и пока проблем нет. Но и нагрузки на сервер нет (чуть больше половины пиковой).

Т.е. моя конструкция в cron не сработала

Как его заставить запускаться всего 1 раз в какой-нибудь понедельник месяца?

---------- Добавлено 02.05.2016 в 11:27 ----------

Да, абсолютные цифры крошечные.

Может быть проблема с какими-то лимитами на открытые файлы и т.п.?

# sysctl -p

fs.file-max = 2097152

vm.swappiness = 10

vm.dirty_ratio = 40

vm.dirty_background_ratio = 10

vm.dirty_writeback_centisecs = 15000

vm.vfs_cache_pressure = 1000

net.ipv4.ip_local_port_range = 1024 65535

net.ipv4.conf.all.accept_redirects = 0

net.ipv4.conf.all.secure_redirects = 0

net.ipv4.conf.all.send_redirects = 0

net.ipv4.tcp_max_orphans = 65536

net.ipv4.tcp_fin_timeout = 30

net.ipv4.tcp_keepalive_time = 1800

net.ipv4.tcp_keepalive_intvl = 15

net.ipv4.tcp_keepalive_probes = 5

net.ipv4.tcp_max_syn_backlog = 65536

net.ipv4.tcp_synack_retries = 1

net.ipv4.tcp_mem = 50576 64768 98152

net.ipv4.tcp_rmem = 4096 87380 16777216

net.ipv4.tcp_wmem = 4096 65536 16777216

net.ipv4.tcp_orphan_retries = 0

net.ipv4.tcp_syncookies = 0

net.ipv4.tcp_timestamps = 1

net.ipv4.tcp_sack = 1

net.ipv4.tcp_congestion_control = htcp

net.ipv4.tcp_no_metrics_save = 1

net.ipv4.route.flush = 1

net.ipv4.conf.all.rp_filter = 1

net.ipv4.conf.lo.rp_filter = 1

net.ipv4.conf.enp1s0f0.rp_filter = 1

net.ipv4.conf.default.rp_filter = 1

net.ipv4.conf.all.accept_source_route = 0

net.ipv4.conf.lo.accept_source_route = 0

net.ipv4.conf.enp1s0f0.accept_source_route = 0

net.ipv4.conf.default.accept_source_route = 0

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_window_scaling = 1

net.ipv4.tcp_rfc1337 = 1

net.ipv4.ip_forward = 0

net.ipv4.icmp_echo_ignore_broadcasts = 1

net.ipv4.icmp_ignore_bogus_error_responses = 1

net.core.somaxconn = 32768

net.core.netdev_max_backlog = 1000

net.core.rmem_default = 65536

net.core.wmem_default = 65536

net.core.rmem_max = 16777216

net.core.wmem_max = 16777216

---------- Добавлено 02.05.2016 в 11:30 ----------

В php-коде довольно много вызовов file_exists()- и getimagefilesize() (для локальных файлов)

Могут они так сильно дергать?

И есть 2 папки с 30к подпапок в каждой (и в каждой подпапке картинки). Может быть в этом корень зла?

---------- Добавлено 02.05.2016 в 11:40 ----------

Вот так сейчас выглядит iotop

  510 be/4 root        0.00 B/s    0.00 B/s  0.00 % 17.34 % [xfsaild/md125]

18085 be/4 nginx      32.67 K/s    2.39 K/s  0.00 % 17.09 % nginx: worker process

18078 be/4 nginx      91.25 K/s 2040.11 B/s  0.00 % 17.06 % nginx: worker process

18082 be/4 nginx      35.06 K/s    5.58 K/s  0.00 % 15.49 % nginx: worker process

23469 be/4 user       49.41 K/s    0.00 B/s  0.00 % 15.01 % php-fpm: pool user

18080 be/4 nginx      47.42 K/s  816.04 B/s  0.00 % 15.00 % nginx: worker process

18083 be/4 nginx      76.90 K/s    2.39 K/s  0.00 % 14.80 % nginx: worker process

18081 be/4 nginx      49.81 K/s    2.39 K/s  0.00 % 14.08 % nginx: worker process

18079 be/4 nginx      81.68 K/s 2040.11 B/s  0.00 % 11.81 % nginx: worker process

18084 be/4 nginx      29.88 K/s 1224.07 B/s  0.00 % 10.01 % nginx: worker process

23168 be/4 user       28.69 K/s    0.00 B/s  0.00 %  7.51 % php-fpm: pool user

23447 be/4 user       22.31 K/s    0.00 B/s  0.00 %  7.02 % php-fpm: pool user

23202 be/4 user       21.92 K/s    0.00 B/s  0.00 %  6.38 % php-fpm: pool user

22965 be/4 user       21.12 K/s    0.00 B/s  0.00 %  5.76 % php-fpm: pool user

23097 be/4 user        6.38 K/s    0.00 B/s  0.00 %  5.07 % php-fpm: pool user

23096 be/4 user       15.14 K/s    0.00 B/s  0.00 %  4.96 % php-fpm: pool user

23199 be/4 user       12.75 K/s    0.00 B/s  0.00 %  4.52 % php-fpm: pool user

23176 be/4 user        6.77 K/s    0.00 B/s  0.00 %  4.38 % php-fpm: pool user

23033 be/4 user       32.67 K/s    0.00 B/s  0.00 %  4.11 % php-fpm: pool user

23107 be/4 user        7.57 K/s    0.00 B/s  0.00 %  3.92 % php-fpm: pool user

23117 be/4 user        7.97 K/s    0.00 B/s  0.00 %  3.49 % php-fpm: pool user

22946 be/4 user       10.76 K/s    0.00 B/s  0.00 %  3.35 % php-fpm: pool user

23210 be/4 user        9.16 K/s    0.00 B/s  0.00 %  3.33 % php-fpm: pool user

23123 be/4 user        5.98 K/s    0.00 B/s  0.00 %  3.29 % php-fpm: pool user

23136 be/4 user       25.10 K/s    0.00 B/s  0.00 %  3.16 % php-fpm: pool user

23144 be/4 user        5.58 K/s    0.00 B/s  0.00 %  3.14 % php-fpm: pool user

23139 be/4 user       12.75 K/s    0.00 B/s  0.00 %  2.98 % php-fpm: pool user

23227 be/4 user        5.58 K/s    0.00 B/s  0.00 %  2.98 % php-fpm: pool user

23125 be/4 user       13.15 K/s    0.00 B/s  0.00 %  2.93 % php-fpm: pool user

23145 be/4 user        6.38 K/s    0.00 B/s  0.00 %  2.86 % php-fpm: pool user

23133 be/4 user        8.77 K/s    0.00 B/s  0.00 %  2.71 % php-fpm: pool user

---------- Добавлено 02.05.2016 в 11:58 ----------

Нет, я не прав. Отключение access_log дало результат. la постепенно снижается и тормозов нет. Но пока не знаю, что будет вечером под пиковой нагрузкой.