borisd: 1) Я заметил, скорость импорта заметно падает после середины импорта. Может это быть связано с разрастанием базы? Или в сторону индексов смотреть?
Ну и выделение доп. места на диске занимает время, и пересчет индексов конечно. Я бы при вставке большого числа данных вообще бы индексы удалил, а потом после вставки создавал заново.
2) Vacuum (FULL) можно запускать при импорте? Кроме временной задержки (из-за полной блокировки) ничего деструктивного для импорта не должно произойти?
Можно запускать, будет блокировка базы правда на время вакуума.
А вы пробовали в этой вашей джанге @transaction.atomic использовать, чтобы вся процедура импорта была атомарной. Или наоборот, не использовать :)
На каждую операцию update тоже создается копия, индексы также занимают место. Зачем многократная перезапись? Автовакуум отключен, небось? Размер страницы какой? Транзакция закрывается после работы импорта?
Меня интересует создание своего проекта, где владеть доменом и брендом буду я,
а руководство так же возьму на себя.
Тогда вы разделом ошиблись, вам сюда: /ru/forum/optimizators-exchange/full-time-job :)
GrenadierUA, менять хостинг, очевидно
Оптимизайка, За неделю до событий успел обналичить
Всё то вы успеваете :D
Поддомены настраиваются там, где вы управляете записями DNS вашего домена, скорее всего это вообще у регистратора домена.
Для начала запросы покажите которые этот phpmyadmin генерирует при этих "тормозных" операциях. План и время их выполнения тоже.
Ну и как отладка может повлиять на размер базы данных? Эта ваша джага-джанга в базу данных логи пишет что-ли? %)
Как запретить копирование парсерам
Это комплексная задача, для начала можно попробовать запретить доступ к сайту с серверов хостингов:
/ru/forum/958253
1) Я заметил, скорость импорта заметно падает после середины импорта. Может это быть связано с разрастанием базы? Или в сторону индексов смотреть?
Ну и выделение доп. места на диске занимает время, и пересчет индексов конечно. Я бы при вставке большого числа данных вообще бы индексы удалил, а потом после вставки создавал заново.
Можно запускать, будет блокировка базы правда на время вакуума.
А вы пробовали в этой вашей джанге @transaction.atomic использовать, чтобы вся процедура импорта была атомарной. Или наоборот, не использовать :)
Это называется pivot table, к сожалению в MySQL только как-то так:
http://buysql.com/mysql/14-how-to-automate-pivot-tables.html
На каждую операцию update тоже создается копия, индексы также занимают место. Зачем многократная перезапись? Автовакуум отключен, небось? Размер страницы какой? Транзакция закрывается после работы импорта?