Быстро запаковать миллион страниц

сгенерилось за ночь, пакуется примерно со скоростью генерации.

Более 6000 страниц в секунду? Ну-ну.

Как думаешь сколько точек выведет cout программы на плюсах в stdout за одну секунду, даже без обращений к фс?

Или у тебя сверхэффективный многопоточный дорген?

Вопрос ко всем присутствующим. Сколько страниц обычно генерируется доргеном, в секунду?

если интересно то:

249 доров

каждый от 8к до 10к страниц

получилось около 2,3 млн страниц

пандора, сгенерилось за ночь, скорость от 50 до 100 страниц в секунду.

впс - 24 озу, интел е5 2630 6 ядер, ссд

Архивация примерно так же - 50-100 в секунду, пробовал 7zip, winrar.

zip, tar, 7zip все примерно одинаково.

чё делать хз

Понятно. Значит, миллион не на каждом доре, а в сумме.

Тогда проще подождать наверно.

Так и есть, примерно одинакаво.

Если загрузка процессора при генерации не максимальная, то можно упаковывать по ходу процесса. Например, по 10 доров в архив. Тогда потерь времени почти не будет.

Не делать проблему. Неужели нечем заняться, пока доры будут архивироваться?

У человека ресурс простаивает - неужели не понятно? Или тут школота одна? :)

Ведь ясно - что пока архивируется дор, то не идёт генерация).

Смотря какой разброс случайности делать в исходном материале. Но даже в одинаковых вводных - может 15 страниц в секунду быть, а может и 5 - в зависимости от проца. То есть один комп может делать 1 дор 4 дня, а другой - 10 дней.

Какое мышление :). Варианты, что могут рядом трудиться 10-20 и т.д. копий доргена не рассматриваются? :)

такое лучше локально генерировать или пофайлово в БД, оттуда простым запросом тянуть с распаковкой.

---------- Добавлено 07.06.2017 в 01:05 ----------

Илитакое решение, у меня так много старниц тянлось следующим образом.

Два файла и простейший роутер на извлечение и отдачу.

1й файл - номер позиции строки - название файла.

Поиск файла - алго бинарного поиска.

2й файл- болванка куда подряд пишутся строки запакованные gzcompress-ом.

роутер тянет индекс по uri, дальше по индексу ищет строку и распаковывает на отдачу.

Дальше три файла эти заливаешь на хост и сайт готов.

Пакуйте без сжатия, тогда скорость будет поболее, лучше просто в zip формат.

https://www.dmosk.ru/miniinstruktions.php?mini=7zip-cmd

Если ждали чтобы все это сгенерировать, придется подождать, пока упакует.

Генерировал 1000 доров по 30,000 страниц. Пандора с архивацией. 1000 * 30,000 = 30,000,000. Генерировалось меньше суток. Точно не вспомню давненько так делал, но вроде предел был 2000 доров.

1000 по 30 000 и 10 по 1 000 000 = разница огромна - понятно почему.