Чтение и запись данных их очень большого файла

1 23
SD
На сайте с 08.12.2011
Offline
5
#21
netwind:
если файлы конвертировать в бд не как есть, а нормализируя базу, то объем может получиться меньше.

Позволю не согласится. Если сравнивать объем ненормализованной БД и нормализованной - да. Если же сравнивать объем исходных данных и объем тех же данных, помещенных в БД - нет.

N
На сайте с 06.05.2007
Offline
419
#22

StarDust, но ведь исходные данные в файлах тоже могут содержать какие-то денормализованные поля-связи , а значит в процессе нормализации эти поля уменьшатся.

Кнопка вызова админа ()
I
На сайте с 23.12.2010
Offline
25
#23
netwind:
если файлы конвертировать в бд не как есть, а нормализируя базу, то объем может получиться меньше.

В принципе наверное можно такую базу придумать. На практике индексы занимают объем больший чем собственно данные. Не забывайте также о введении новых сущностей как суррогатные первичные ключи или появление в физической модели новых таблиц напр для описания связи много-ко-многим. Не забываем о лог-файлах также

Ну и конечно никто не проводит полную нормализацию, иначе сильные тормоза

iopiop добавил 18.12.2011 в 09:34

StarDust:

Идейка, скажем так, на уровне студента первого курса, без обид.

ну что вы так.. TC как раз подошел к идее держать метаданные отдельно, вон уже и структурка выделяется потихоньку


Для поиска по метаданным строим индекс. Вот по индексу уже и будем бродить.

Это уже будет второй этап, когда ТС поймет что линейный поиск - это глупо

А дальше, глядишь, и до БД дойдет ☝

SeVlad
На сайте с 03.11.2008
Offline
1609
#24
iopiop:
это как, БД их сжимает, что ли? ;-)

Когда-то давно (когда я также как и ТС боялся этого страшного слова - "база данных") именно так мне объясняли "старшие товарищи". Если зип сжимает текстовый файл в десятки раз - почему аналогичный принцип не может быть использован в БД? В том смысле, что одинаковые последовательности (данные) заменяются на индексы.. Удаление избыточности.. (я утрированно, но надеюсь, поняли).

Ну как-то так..

StarDust:
А далее все что нужно - сделать скрипт типа install.(php, aspx и т.п.) который всю работу по инсталляции и сделает.

..хотя бы развернуть из дампа - делов-то :)

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
N
На сайте с 06.05.2007
Offline
419
#25
SeVlad:
Если зип сжимает текстовый файл в десятки раз - почему аналогичный принцип не может быть использован в БД? В том смысле, что одинаковые последовательности (данные) заменяются на индексы.. Удаление избыточности..

Произвольный характер доступа не позволяет использовать такую технику везде.

Так что в mysql это используется только для текстовых индексов и только в myisam.

Кроме того, есть утилита myisampack, которая позволяет сжать и записи таблицы . Правда таблица становится только для чтения.

Другие субд тоже могут использовать эту технику.

Уменьшение объема вследствие нормализации куда более реально.

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий