падает mysql-сервер - mysqld got signal 11 - Администрирование серверов - Сайтостроение

142

Berega

25 июня 2018, 06:20

7115

Всем доброго времени суток,

после переезда на новый сервер с самого начала начал падать mysql-сервер (version 5.7.22) , по логам вылетает ошибка mysqld got signal 11 , после этого сервер перезагружается, самое неприятное, что иногда из-за этого падения повреждаются таблицы.

Падает сервер в рандомное время, независимо от нагрузки, вчера последний раз упал ночью, когда онлайн был 50 человек.

Сервер - Intel® Core™ i7-6700 Quadcore Skylake , 2 x 500 GB SSD SATA-III, 64 GB DDR4

Ось - Linux server0 4.9.0-5-amd64 #1 SMP Debian 4.9.65-3+deb9u2 (2018-01-04) x86_64 GNU/Linux

Mysql version - 5.7.22

ошибка mysqld got signal 11




16:47:15 UTC - mysqld got signal 11 ;

This could be because you hit a bug. It is also possible that this binary

or one of the libraries it was linked against is corrupt, improperly built,

or misconfigured. This error can also be caused by malfunctioning hardware.

Attempting to collect some information that could help diagnose the problem.

As this is a crash and something is definitely wrong, the information

collection process might fail.



key_buffer_size=8388608

read_buffer_size=131072

max_used_connections=102

max_threads=1500

thread_count=8

connection_count=8

It is possible that mysqld could use up to

key_buffer_size + (read_buffer_size + sort_buffer_size)*max_threads = 604254 K  bytes of memory

Hope that's ok; if not, decrease some variables in the equation.



Thread pointer: 0x7f4a2742f8c0

Attempting backtrace. You can use the following information to find out

where mysqld died. If you see no messages after this, something went

terribly wrong...

stack_bottom = 7f4b21dd3e80 thread_stack 0x40000

/usr/sbin/mysqld(my_print_stacktrace+0x2c)[0x563e387cf1ec]

/usr/sbin/mysqld(handle_fatal_signal+0x479)[0x563e380fde59]

/lib/x86_64-linux-gnu/libpthread.so.0(+0x110c0)[0x7f4d4c9270c0]

/usr/sbin/mysqld(_ZN5Field2eqEPS_+0x2)[0x563e38132a02]

/usr/sbin/mysqld(+0xad6be9)[0x563e38582be9]

/usr/sbin/mysqld(_ZN4JOIN14make_join_planEv+0x414)[0x563e385942e4]

/usr/sbin/mysqld(_ZN4JOIN8optimizeEv+0x69c)[0x563e38595f6c]

/usr/sbin/mysqld(_ZN13st_select_lex8optimizeEP3THD+0x692)[0x563e385dc582]

/usr/sbin/mysqld(_Z12handle_queryP3THDP3LEXP12Query_resultyy+0x20c)[0x563e385dc7fc]

/usr/sbin/mysqld(+0x61be6d)[0x563e380c7e6d]

/usr/sbin/mysqld(_Z21mysql_execute_commandP3THDb+0x48e7)[0x563e385a04a7]

/usr/sbin/mysqld(_Z11mysql_parseP3THDP12Parser_state+0x395)[0x563e385a2ab5]

/usr/sbin/mysqld(_Z16dispatch_commandP3THDPK8COM_DATA19enum_server_command+0xfc4)[0x563e385a3b74]

/usr/sbin/mysqld(_Z10do_commandP3THD+0x197)[0x563e385a4f27]

/usr/sbin/mysqld(handle_connection+0x270)[0x563e38660320]

/usr/sbin/mysqld(pfs_spawn_thread+0x1b4)[0x563e38b35314]

/lib/x86_64-linux-gnu/libpthread.so.0(+0x7494)[0x7f4d4c91d494]

/lib/x86_64-linux-gnu/libc.so.6(clone+0x3f)[0x7f4d4b169acf]



Trying to get some variables.

месяц назад падал еще с ошибкой mysqld got signal 6


04:58:50 UTC - mysqld got signal 6 ;

This could be because you hit a bug. It is also possible that this binary

or one of the libraries it was linked against is corrupt, improperly built,

or misconfigured. This error can also be caused by malfunctioning hardware.

Attempting to collect some information that could help diagnose the problem.

As this is a crash and something is definitely wrong, the information

collection process might fail.



key_buffer_size=8388608

read_buffer_size=131072

max_used_connections=8

max_threads=1500

thread_count=3

connection_count=3

It is possible that mysqld could use up to

key_buffer_size + (read_buffer_size + sort_buffer_size)*max_threads = 604254 K  bytes of memory

Hope that's ok; if not, decrease some variables in the equation.



Thread pointer: 0x7f9dcc012d40

Attempting backtrace. You can use the following information to find out

where mysqld died. If you see no messages after this, something went

terribly wrong...

stack_bottom = 7f9e33339e80 thread_stack 0x40000

/usr/sbin/mysqld(my_print_stacktrace+0x2c)[0x55c5db9c21ec]

/usr/sbin/mysqld(handle_fatal_signal+0x479)[0x55c5db2f0e59]

/lib/x86_64-linux-gnu/libpthread.so.0(+0x110c0)[0x7fa05cd280c0]

/lib/x86_64-linux-gnu/libc.so.6(gsignal+0xcf)[0x7fa05b4b4fff]

/lib/x86_64-linux-gnu/libc.so.6(abort+0x16a)[0x7fa05b4b642a]

/usr/sbin/mysqld(+0x628387)[0x55c5db2c7387]

/usr/sbin/mysqld(_ZN2ib5fatalD1Ev+0x12d)[0x55c5dbb90c8d]

/usr/sbin/mysqld(_Z16buf_page_get_genRK9page_id_tRK11page_size_tmP11buf_block_tmPKcmP5mtr_tb+0xa18)[0x55c5dbbcb8b8]

/usr/sbin/mysqld(_Z27btr_cur_search_to_nth_levelP12dict_index_tmPK8dtuple_t15page_cur_mode_tmP9btr_cur_tmPKcmP5mtr_t+0x7b6)[0x55c5dbbad0e6]

/usr/sbin/mysqld(+0xe62429)[0x55c5dbb01429]

/usr/sbin/mysqld(_Z15row_search_mvccPh15page_cur_mode_tP14row_prebuilt_tmm+0x1b90)[0x55c5dbb081f0]

/usr/sbin/mysqld(_ZN11ha_innobase13general_fetchEPhjj+0x6a)[0x55c5db9fef9a]

/usr/sbin/mysqld(_ZN7handler13ha_index_prevEPh+0x1c5)[0x55c5db33e4c5]

/usr/sbin/mysqld(_Z19join_read_prev_sameP11READ_RECORD+0x24)[0x55c5db760f84]

/usr/sbin/mysqld(_Z10sub_selectP4JOINP7QEP_TABb+0x187)[0x55c5db767be7]

/usr/sbin/mysqld(_ZN4JOIN4execEv+0x370)[0x55c5db7609f0]

/usr/sbin/mysqld(_Z12handle_queryP3THDP3LEXP12Query_resultyy+0x233)[0x55c5db7cf823]

/usr/sbin/mysqld(+0x61be6d)[0x55c5db2bae6d]

/usr/sbin/mysqld(_Z21mysql_execute_commandP3THDb+0x48e7)[0x55c5db7934a7]

/usr/sbin/mysqld(_Z11mysql_parseP3THDP12Parser_state+0x395)[0x55c5db795ab5]

/usr/sbin/mysqld(_Z16dispatch_commandP3THDPK8COM_DATA19enum_server_command+0xfc4)[0x55c5db796b74]

/usr/sbin/mysqld(_Z10do_commandP3THD+0x197)[0x55c5db797f27]

/usr/sbin/mysqld(handle_connection+0x270)[0x55c5db853320]

/usr/sbin/mysqld(pfs_spawn_thread+0x1b4)[0x55c5dbd28314]

/lib/x86_64-linux-gnu/libpthread.so.0(+0x7494)[0x7fa05cd1e494]

/lib/x86_64-linux-gnu/libc.so.6(clone+0x3f)[0x7fa05b56aacf]



Trying to get some variables.

Some pointers may be invalid and cause the dump to abort.

show global status https://www.pastiebin.com/5b3089648d76d

SHOW VARIABLES https://www.pastiebin.com/5b30899861180

TOP

jpg 175176.jpg

B

142

Berega

25 июня 2018, 06:22

#1

Надо еще сказать, что до этого все крутилось на сервере с 16гб оперативной памяти, и mysql за 5 лет ни разу не падал.

161

baas

25 июня 2018, 07:51

#2

Хмм.

сгнал 11 - это sigsegv, мускул вылезает за пределы своей памяти.

https://sqlinfo.ru/forum/viewtopic.php?id=1935

Проверьте параметры, да и в логе dmesg, может что то полезнае еще увидите.

1

Настройка BSD систем. (https://www.fryaha.ru) Знание сила, незнание Рабочая сила!

B

142

Berega

25 июня 2018, 08:59

#3

baas:
Хмм.
сгнал 11 - это sigsegv, мускул вылезает за пределы своей памяти.
https://sqlinfo.ru/forum/viewtopic.php?id=1935
Проверьте параметры, да и в логе dmesg, может что то полезнае еще увидите.

Спасибо, да это скорее всего что-то с памятью, в логах mysql пишет что при моих настройках ему необходимо 604254K памяти, но на сервере всегда доступно более 50ГБ, к тому же упасть он может просто при простое.

Возможно дело в железе ? вчера делали быстрый тест оперативной памяти, показало все норм.

dmesg ничего полезного не показывает, только какая-то постоянная ошибка с апачем

[2712070.546300] INFO: task apache2:24762 blocked for more than 120 seconds.

[2712070.546373]       Not tainted 4.9.0-5-amd64 #1 Debian 4.9.65-3+deb9u2

[2712070.546458] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.

[2712070.546549] apache2         D    0 24762  19322 0x00000000

[2712070.546663]  ffff929a2953d400 0000000000000000 ffff929af1c45040 ffff92a06e598940

[2712070.546918]  ffff92a0271f6040 ffff9f8a97f2fb80 ffffffff93402923 ffffffff9301c789

[2712070.547173]  00ff929b43830240 ffff92a06e598940 ffff92a026237c00 ffff929af1c45040

[2712070.547428] Call Trace:

[2712070.547495]  [<ffffffff93402923>] ? __schedule+0x233/0x6d0

[2712070.547568]  [<ffffffff9301c789>] ? d_add+0xc9/0x180

[2712070.547639]  [<ffffffff93402df2>] ? schedule+0x32/0x80

[2712070.547711]  [<ffffffff93405999>] ? rwsem_down_write_failed+0x1f9/0x360

[2712070.547786]  [<ffffffff92fdd9ca>] ? page_is_poisoned+0xa/0x20

[2712070.547859]  [<ffffffff93138213>] ? call_rwsem_down_write_failed+0x13/0x20

[2712070.547934]  [<ffffffff93405039>] ? down_write+0x29/0x40

[2712070.548005]  [<ffffffff92fff256>] ? do_truncate+0x66/0xc0

[2712070.548081]  [<ffffffffc03bfb70>] ? ext4_release_file+0xc0/0xc0 [ext4]

[2712070.548160]  [<ffffffff93011945>] ? path_openat+0x745/0x14d0

[2712070.548233]  [<ffffffff930209d5>] ? touch_atime+0x35/0xd0

[2712070.548317]  [<ffffffff93013991>] ? do_filp_open+0x91/0x100

[2712070.548389]  [<ffffffff9301b078>] ? dput+0x38/0x250

[2712070.548460]  [<ffffffff92ffea1a>] ? __check_object_size+0xfa/0x1d8

[2712070.548532]  [<ffffffff9300128e>] ? do_sys_open+0x12e/0x210

[2712070.548605]  [<ffffffff9340761e>] ? system_call_fast_compare_end+0xc/0xb7

[2712258.475025] systemd[1]: systemd-journald.service: State 'stop-sigabrt' timed out. Terminating.

[2712283.165174] systemd[1]: systemd-journald.service: Main process exited, code=killed, status=6/ABRT

[2712283.165523] systemd[1]: systemd-journald.service: Unit entered failed state.

[2712283.165706] systemd[1]: systemd-journald.service: Failed with result 'watchdog'.

[2712283.166488] systemd[1]: systemd-journald.service: Service has no hold-off time, scheduling restart.

[2712283.167083] systemd[1]: Stopped Flush Journal to Persistent Storage.

[2712283.167200] systemd[1]: Stopping Flush Journal to Persistent Storage...

[2712283.168301] systemd[1]: Stopped Journal Service.

[2712283.168971] systemd[1]: Starting Journal Service...

[2712356.755211] systemd[1]: mysql.service: PID file /var/run/mysqld/mysqld.pid not readable (yet?) after start: No such file or directory

[2712373.224887] systemd[1]: systemd-journald.service: Start operation timed out. Terminating.

[2712463.474781] systemd[1]: systemd-journald.service: State 'stop-final-sigterm' timed out. Killing.

[2712463.475128] systemd[1]: systemd-journald.service: Killing process 26311 (systemd-journal) with signal SIGKILL.

[2712468.287725] systemd[1]: systemd-journald.service: Main process exited, code=killed, status=9/KILL

[2712468.288045] systemd[1]: Failed to start Journal Service.

[2712468.288161] systemd[1]: Dependency failed for Flush Journal to Persistent Storage.

[2712468.288283] systemd[1]: systemd-journal-flush.service: Job systemd-journal-flush.service/start failed with result 'dependency'.

[2712468.288426] systemd[1]: systemd-journald.service: Unit entered failed state.

[2712468.288568] systemd[1]: systemd-journald.service: Failed with result 'timeout'.

[2712468.289118] systemd[1]: systemd-journald.service: Service has no hold-off time, scheduling restart.

[2712468.289369] systemd[1]: Stopped Journal Service.

[2712468.396027] systemd-journald[27315]: File /var/log/journal/33f3d21c849f4e19a23aaac507845fdf/system.journal corrupted or uncleanly shut down, renaming and replacing.

[2712487.594835] systemd[1]: apt-daily.timer: Adding 7h 2min 16.255210s random time.

[2712487.594955] systemd[1]: certbot.timer: Adding 18min 41.724374s random time.

[2712487.595427] systemd[1]: apt-daily-upgrade.timer: Adding 14min 1.047029s random time.

[2712487.704122] systemd[1]: apt-daily.timer: Adding 4h 30min 29.885064s random time.

[2712487.704244] systemd[1]: certbot.timer: Adding 44min 22.996174s random time.

[2712487.704686] systemd[1]: apt-daily-upgrade.timer: Adding 58min 58.703523s random time.

[2712487.733731] systemd[1]: apt-daily.timer: Adding 8h 34min 47.025025s random time.

[2712487.733853] systemd[1]: certbot.timer: Adding 48min 20.796848s random time.

[2712487.734308] systemd[1]: apt-daily-upgrade.timer: Adding 9min 43.923290s random time.

[2712487.762652] systemd[1]: apt-daily.timer: Adding 2h 36min 3.248651s random time.

[2712487.778732] Process accounting resumed

[2712487.850410] Process accounting resumed

1722

LEOnidUKG

25 июня 2018, 09:25

#4

но на сервере всегда доступно более 50ГБ

В смысле у вас на сервере более 50 ГБ RAM?

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/

D

1101

Dram

25 июня 2018, 10:26

#5

LEOnidUKG:
В смысле у вас на сервере более 50 ГБ RAM?

Написано же выше - 64 GB DDR4

ТС - покажите настройки в my.cnf

1722

LEOnidUKG

25 июня 2018, 10:38

#6

Dram:
Написано же выше - 64 GB DDR4

ТС - покажите настройки в my.cnf

Да что-то не дочитал. Тогда да нужен my.cnf

Вообще по гуглу много вариаций с этой ошибкой.

B

142

Berega

25 июня 2018, 11:00

#7

Вот мой конфиг, настроенный админами фаствпс (которые с апреля месяца не могут решить проблему )

[mysqld]

join_buffer_size = 256K

tmp_table_size = 32M

max_heap_table_size = 32M

table_open_cache = 1745

innodb_buffer_pool_size = 8G

#innodb_force_recovery = 1

open_files_limit = 16384

1722

LEOnidUKG

25 июня 2018, 11:02

#8

А таблицы у вас в основном innodb?

Что вообще хранится в mysql? Это свой проект или магазин или стандартная CMS?

B

142

Berega

25 июня 2018, 11:11

#9

LEOnidUKG:
А таблицы у вас в основном innodb?
Что вообще хранится в mysql? Это свой проект или магазин или стандартная CMS?

это форум на vbulletin, главные таблицы все в innodb, но есть несколько таблиц MyiSAM

1722

LEOnidUKG

25 июня 2018, 11:17

#10

Попробуйте запустить:

mysqltuner

Он вам расскажет какие лимиты надо увеличить т.к. у вас все настройки стандартные, а они очень урезаны. Возможно mysql хочет развернуть какой-нибудь JOIN запрос, а у вас max_join_size стандартное значение.

---------- Добавлено 25.06.2018 в 14:18 ----------

И лог покажите ВЫШЕ

16:47:15 UTC - mysqld got signal 11 ;

он там тоже много чего полезного пишет.

---------- Добавлено 25.06.2018 в 14:22 ----------

Если вы переезжали, значит вы все логи тоже переносили.

Тут была такая тема:

/ru/forum/914665

там всё упиралось в удаление:

ib_data* и ib_log*.

2

Курс биткоина превысил $50 тысяч

Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ

падает mysql-сервер - mysqld got signal 11