mysql и большие архивы

RiverS · 2014-02-15T05:10:54.0000000Z

Приветствую всех. Столкнулся со следующей проблемой: При восстановлении бэкапа (около 10гб) выдает ошибки mysql, нарушается работа рабочей базы. И потом вообще не запускается mysql. Сервер мощный: 32гб RAM, SSD Intel® Core™ i7-4770 Quadcore Haswell 4 физических ядра, 8 потоков (hyper-threading) по идее должен тянуть, поэтому возник вопрос, возможно mysql не так настроен? # # The MySQL database server configuration file. # # You can copy this to one of: # - "/etc/mysql/my.cnf" to set global options, # - "~/.my.cnf" to set user-specific options. # # One can use all long options that the program supports. # Run program with --help to get a list of available options and with # --print-defaults to see which it would actually understand and use. # # For explanations see # http://dev.mysql.com/doc/mysql/en/server-system-variables.html # This will be passed to all mysql clients # It has been reported that passwords should be enclosed with ticks/quotes # escpecially if they contain "#" chars... # Remember to edit /etc/mysql/debian.cnf when changing the socket location. [client] port = 3306 socket = /var/run/mysqld/mysqld.sock # Here is entries for some specific programs # The following values assume you have at least 32M ram # This was formally known as [safe_mysqld]. Both versions are currently parsed. [mysqld_safe] socket = /var/run/mysqld/mysqld.sock nice = 0 [mysqld] # #innodb_force_recovery = 4 # * Basic Settings # user = mysql pid-file = /var/run/mysqld/mysqld.pid socket = /var/run/mysqld/mysqld.sock port = 3306 basedir = /usr datadir = /var/lib/mysql tmpdir = /tmp lc-messages-dir = /usr/share/mysql skip-external-locking open_files_limit = 4096 innodb_file_per_table #bind-address = 0.0.0.0 # # Instead of skip-networking the default is now to listen only on # localhost which is more compatible and is not less secure. # # * Fine Tuning # key_buffer = 16M max_allowed_packet = 16M thread_stack = 192K thread_cache_size = 8 # This replaces the startup script and checks MyISAM tables if needed # the first time they are touched myisam-recover = BACKUP #max_connections = 100 #table_cache = 64 #thread_concurrency = 10 # # * Query Cache Configuration # query_cache_limit = 1M query_cache_size = 16M # # * Logging and Replication # # Both location gets rotated by the cronjob. # Be aware that this log type is a performance killer. # As of 5.1 you can enable the log at runtime! #general_log_file = /var/log/mysql/mysql.log #general_log = 1 # # Error logging goes to syslog due to /etc/mysql/conf.d/mysqld_safe_syslog.cnf. # # Here you can see queries with especially long duration #log_slow_queries = /var/log/mysql/mysql-slow.log #long_query_time = 2 #log-queries-not-using-indexes # # The following can be used as easy to replay backup logs or for replication. # note: if you are setting up a replication slave, see README.Debian about # other settings you may need to change. #server-id = 1 #log_bin = /var/log/mysql/mysql-bin.log expire_logs_days = 10 max_binlog_size = 100M #binlog_do_db = include_database_name #binlog_ignore_db = include_database_name # # * InnoDB # # InnoDB is enabled by default with a 10MB datafile in /var/lib/mysql/. # Read the manual for more InnoDB related options. There are many! # # * Security Features # # Read the manual, too, if you want chroot! # chroot = /var/lib/mysql/ # # For generating SSL certificates I recommend the OpenSSL GUI "tinyca". # # ssl-ca=/etc/mysql/cacert.pem # ssl-cert=/etc/mysql/server-cert.pem # ssl-key=/etc/mysql/server-key.pem [mysqldump] quick quote-names max_allowed_packet = 16M [mysql] #no-auto-rehash # faster start of mysql but no tab completition [isamchk] key_buffer = 16M # # * IMPORTANT: Additional settings that can override those from this file! # The files must end with '.cnf', otherwise they'll be ignored. # !includedir /etc/mysql/conf.d/ Буду благодарен за ответы)

RS

6

RiverS

16 февраля 2014, 05:30

#11

Andreyka:
Если база в myisam - то залейте у себя на той же версии mysql, а потом перекиньте файлы базы

Боюсь, навыков работы с базой данных мне не хватит, что бы выполнить данную операцию :(

megadimon:
как вариант, чтобы не ломать основную базу, импортнуть во вторую базу и переключиться на вторую базу в скриптах

В том то и дело, при импортировании (заливке) бэкапа в другую базу, происходит те вещи, что описаны в первом сообщении.

Спасибо всем огромное за ответы!

Все таки пришлось чистить базу (удалил более 25 млн. информации..)

Попробовал увеличить этот параметр до 8гб open_files_limit

Потом при дампе сразу сжимал базу:

## mysqldump -u root -pPASSWORD database | gzip > `date +/home/backup/database.sql.%Y%m%d.%H%M%S.gz`

## gunzip < /home/backup/database.sql.20140215.135855.gz | mysql -u root -pPASSWORD database

После этого бэкап залился, при этом были терпимые подвисания в работе mysql :(

Проблема частично решена(скорее всего из - за уменьшения размера базы до 5-6гб). Если у кого то еще появятся мудрые решения этого вопроса буду признателен.

---------- Добавлено 16.02.2014 в 09:46 ----------

// Хорошее решение делить бэкап, но это не совсем удобно и хранить кучу файлов вместо одного не особо хочется :)

10 способов ускорить загрузку Яндекс запустил бета-версию Метрики Как повлиять на скорость

1214

Mik Foxi

16 февраля 2014, 06:01

#12

Так mysqldump из консоли не справляется? Sqlite к примеру без проблем заливал 150 гб дамп. Неужели mysql настолько уныл?

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/

RS

6

RiverS

16 февраля 2014, 07:06

#13

foxi:
Так mysqldump из консоли не справляется?

Именно, я же написал, что если заливать со своего ПК, то заливается норм, но очень долго

1214

Mik Foxi

16 февраля 2014, 07:32

#14

RiverS:
Именно, я же написал, что если заливать со своего ПК, то заливается норм, но очень долго

в смысле со своего пс. заливаете на сервер. распаковываете. дальше командой из консоли дамп заливаете в базу.

вроде даже на дефолтных настройках все должно записываться упираясь только в скорость диска.

[Удален]

16 февраля 2014, 10:11

#15

foxi, полагаю со своего пк и дамп создается и восстанавливается через какой то софт. В них как правило по умолчанию каждая строка данных это отдельный INSERT. Отсюда отсутствие ошибок и долгое выполнение (миллионы инсертов).

ТС, Попробуйте добавить к mysqldump две опции --single-transaction и --quick.

---------- Добавлено 16.02.2014 в 12:16 ----------

Ну а чтобы выполнялось медленно и с меньшей нагрузкой добавляйте опцию --extended-insert=FALSE. Хотя я бы не советовал для 10Гб.

Bing Ads упростил работу Скрипты AdWords стали доступны Как обойти грядущие изменения

D

1114

Dram

16 февраля 2014, 10:17

#16

Такой командой по ssh разворачивал много гигабайтные базы совершенно без проблем

gunzip < НАЗВАНИЕАРХИВА.gz | mysql -u root -pПАРОЛЬ ИМЯБАЗЫ

[Удален]

16 февраля 2014, 10:28

#17

Dram, базе базе розня.

В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи

Все что нужно знать о DDоS-атаках грамотному менеджеру