Быстро запаковать миллион страниц

12 3
A7
На сайте с 07.09.2007
Offline
257
3156

Подскажите максимально быстрый способ упаковки доров в архив. Пробовал винрар в зип архив без сжатия, и пробовал 7зип в архив tar. Скорость печальная.

TopperHarley
На сайте с 24.03.2009
Offline
350
#1

Писать файлы в RAM диск, и упаковывать там же, по идее должно быть шустро.

PandoraBox - генератор #1 ( https://pandoraboxx.ru ) :: ContentBox - Новый многопточный парсер текста,картинок,видео и т.д. ( https://pandoraboxx.ru/contentbox.php ) :: Конвертор шаблонов WP/DLE ( https://pandoraboxx.ru/templateconvertor.php )
A7
На сайте с 07.09.2007
Offline
257
#2
TopperHarley:
Писать файлы в RAM диск, и упаковывать там же, по идее должно быть шустро.

У меня 1 дор занимает 200-250 мб, пакетка минимум 100 доров

Где же взять столько оперативы?)

Это очень дорого

Я уже рассматривал этот вариант, ищу другой)

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#3

Купить SSD. Но лучше не заниматься средневековьем, а делать динамические доры на php + с базой mysql/sqlite.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
M
На сайте с 18.10.2006
Offline
185
#4

Перейти на диски SSD. Использовать нормальный проц. Миллионы файлов упаковываются за пару часов от силы 7z.

---------- Добавлено 05.06.2017 в 15:15 ----------

foxi:
Купить SSD. Но лучше не заниматься средневековьем, а делать динамические доры на php + с базой mysql/sqlite.

И сколько твои динамические доры держать будут обращений? 3,5 посетителя в минуту? :).

Кому-то - асерет-а-диброт, а кому-то - хатуль мадан. Вам выбирать!
orka13
На сайте с 28.03.2011
Offline
102
#5

Накатал себе скрипт-шаблон на ZennoPoster 5. Я в PandoraBox генерю в RAM диск (хватит 1-2 ГБ), скрипт на лету готовые сайты архивирует, архив перемещает на HDD, папку с дором удаляет, так что можно генерить хоть 1000 в пакетке. Потом другой скрипт эти архивы по FTP заливает и по SSH делает распаковку на серваке.

Идею ты понял. Придумай реализацию. Или могу продам свои наработки, если есть зенка.

Продажи шаблона Google-Translate (Гугл Переводчик), скорость: 20 млн ключей/час, с прокси, без API. (http://zennolab.com/discussion/threads/prodazhi-shablona-google-translate.43684/) Переводит ключи, статьи, HTML+PHP файлы (целые сайты, доры) с сохранением верстки!
A7
На сайте с 07.09.2007
Offline
257
#6

Я на ссд и пакую

M
На сайте с 18.10.2006
Offline
185
#7
alex_778:
Я на ссд и пакую

Возможно ssd плохой. В нормальном режиме 4-5 миллионов страниц упаковываются меньше часа. На стареньком проце 2014 года - Core i7-4790K . На древнючем Q9650, которому уже под 10 лет - пару-тройку часов.

Где то у тебя узкое место).

_Snake_
На сайте с 06.12.2010
Offline
151
#8
alex_778:
У меня 1 дор занимает 200-250 мб, пакетка минимум 100 доров

И что, это много? У меня доры пандорой делались по 700-1500мб, архивировались 2-5 мин, точно не помню. Ни каких ssd ни каких рем дисков. Обыкновенные блины по 7200 рпм.

Берёшь проц амдшный на vishera, гонишь до 4000 ГЦ, докидываешь туда, где-то 16ГБ оперативки. Профит. Дёшево и сердито! 😂

A7
На сайте с 07.09.2007
Offline
257
#9
_Snake_:
И что, это много? У меня доры пандорой делались по 700-1500мб, архивировались 2-5 мин, точно не помню. Ни каких ssd ни каких рем дисков. Обыкновенные блины по 7200 рпм.
Берёшь проц амдшный на vishera, гонишь до 4000 ГЦ, докидываешь туда, где-то 16ГБ оперативки. Профит. Дёшево и сердито! 😂

1 дор?

я же говорю у меня миллион страниц, сотни доров.

200Online
На сайте с 22.01.2017
Offline
86
#10
alex_778:
1 дор?
я же говорю у меня миллион страниц, сотни доров.

Предположим, ты генерируешь 50 страниц дора в секунду. (А в реальности скорее всего 10-20.)

И предположим "сотни" - это 200, по минимуму.

1 000 000 страниц * 200 доров = 200 000 000 страниц.

/ (50 страниц / в секунду) = 4 000 000 секунд

/ (3600 * 24) = 46 дней.

То есть ты два месяца генерировал эти сайты, а теперь не можешь дождаться неделю, пока они упакуются?

Так пакуй частями, все равно залить такой объем быстро нереально.

Даже если одна страница весит 1Кб (а в реальности намного больше),

то 20 000 000 страниц / 1024*2 = ~190Гб.

В заархивированном виде, например, 70Гб.

Проще написать скрипт, который сто раз будет генерировать, паковать в архивы по 700Мб и отправлять на сервер.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий