Ускорения импорта дампа для mysql

а точно импортируется? 5ГБ не много, учитывая указанное время ))

сколько строк? можно ведь посмотреть что уже записано в базу в процессе..

Записей в таблице порядка 10М, уже большая часть импортировалась (точнее сказать сложно).

Но это не радует всё-равно..

а дался вам этот innodb ? для веб-приложений он не всегда лучше.

сколько занимает в памяти mysqld ?

innodb дался, т.к. в таблицу идет активная запись и чтение

slip, ну а второй вопрос? вы догадались, что в конфиге mysql отдельные секции для управления памятью innodb ? может их там подкрутить?

cделайте вообще show full processlist и от рута, может прояснит.

странно, как вы смогли посмотреть что там в таблице находится, ведь дамп снятый с -opt добавляет lock table write?

видимо каждый инсерт у вас в одной транзакции и это тормозит.

не могу подтвердить с практической точки зрения, но, возможно, с mysqldump --single-transaction шустрей будет.

теперь, когда дамп снят, остается изобразить это искусственно : cat begin.sql dump.sql end.sql| mysql

либо с транзакциями , либо с дисками - точно диски в порядке?

Дайте кучу памяти mysql на время импорта

Тогда не помню. Но я уже крутил конфигурацию несколько раз.

Я не догадываюсь, я знаю, как и тот кто настраивал mysql. Правда похоже он не представлял для чего они там нужны.. Что прескорбно конечно. В итоге простой 2 дня...

Что прояснит? Я смотрел процессы мускла - идет импорта update но чем дольше он длится по времени, тем дольше идет каждая вставка.

Да конечно, добавляет. Смотрел через show processlist т.е. ориентировался по запросам, которые выполняются или точнее по примари кеям.

Диски стоят в RAID-1, по идеи не должны тормозит. Вообще вчера когда импортировал табличку наблюдал своппинг на винте ~500M, это при том что оперативы 6Гиг.. Похоже из-за этого всё и тормозило.

Вчера же отказался от затеи импортировать табличку в innodb - настройки mysql для него мне показались уж жутко кривыми, что запускать с ними сайт в работу была бы глупой затеей. И импортировал эту табличку в myisam немного изменив структуру и убрав индексы, чтобы проект уже заработал. Вышло побыстрей, но всё-равно долго.

Решил самому покопаться чуток в настройках mysql и сегодня при импорт innodb выполняется шустрей, при полностью рабочем сайте и свопинга нет кстати тоже нет. тьфу-тьфу-тьфу.

Вот какие настройки под innodb были:

innodb_data_file_path=ibdata1:10M:autoextend
innodb_open_files = 500
innodb_file_per_table
innodb_thread_concurrency = 8
innodb_buffer_pool_size = 256M
innodb_additional_mem_pool_size = 64M
innodb_log_file_size = 1M
innodb_log_buffer_size = 4M
innodb_flush_log_at_trx_commit = 1
innodb_lock_wait_timeout = 500
interactive_timeout = 30

Такими я их подкрутил:

innodb_data_file_path=ibdata1:1G:autoextend
#innodb_open_files = 500
#innodb_file_per_table
innodb_thread_concurrency = 8
innodb_buffer_pool_size = 3000M
innodb_additional_mem_pool_size = 10M
innodb_log_file_size = 750M
innodb_flush_method=O_DIRECT
innodb_log_buffer_size = 4M
innodb_flush_log_at_trx_commit = 1
innodb_lock_wait_timeout = 50
interactive_timeout = 30

Напомню конфигу:

Core 2 Quad 2.4 ГГц, 6 Гб RAM, 2x500 Гб SATA RAID-1

На сервере стоит freebsd 7.0, mysql 5.0.45

Помоему, тому кто настраивал mysql нужно что-то оторвать :/

Я бы с радостью, но не знаю как. Да и сейчас уже наврятли получится с рабочим проектом на сервере. Но всё-равно буду признателен, если подскажешь как это можно сделать.

А есть еще вариант - убрать индексы, вставить данные, накатить индексы поверх.

Если вставка идет все медленнее и медленнее, то скорее всего проблема в том, что он постоянно индексы пересчитывает.

Если есть вопросы: ICQ: 87-четыре-78-четыре-2

slip, вроде правильно:

innodb_buffer_pool_size = 3000M

innodb_additional_mem_pool_size = 10M - вот это не маловато?

Хотя можно и больше, ( увеличить, перестартовать mysql,импортировать,уменьшить,перестартовать) раз уж импорт выполняется один раз.

А фря 64битная? а то вдруг 32битная. и значит там PAE. Но тогда, думаю, была бы высокая загрузка процессора.