Как быстро удалить 13 миллионов файлов?

ЛЛ
На сайте с 12.11.2018
Offline
68
862

Здравствуйте. Нужно удалить ~13 миллионов файлов расположенные в ~5 папках.

Пробовал через mc и rm -r. Сутки удаляю, всё не могу удалить. Плюс жуткие лаги на сервере из-за этого.

Вопрос. Как быстро их удалить?

Вопрос 2. Если быстро удалить невозможно т.к. скорость диска одна. То каким образом можно пассивно в фоне удалять все файлы, без лагов сервера? Если использую mc или rm -r всё начинает лагать дико.

Сервер 4 ядра 8 поток, 8 гиг озу.

M
На сайте с 17.09.2016
Offline
124
#1

rm как вызывали ?

rm -r /dir/ или rm -r /dir/*

ЛЛ
На сайте с 12.11.2018
Offline
68
#2
Mobiaaa:
rm как вызывали ?
rm -r /dir/ или rm -r /dir/*

rm -r /dir/

WebAlt
На сайте с 02.12.2007
Offline
250
#3

ТС, попробуй так:

ionice -c3 rm -rf /path/to/dir/

ionice -c3 - получает приоритет на использование жесткого диска только когда другие программы ничего не пишут.

ЛЛ
На сайте с 12.11.2018
Offline
68
#4
WebAlt:
ТС, попробуй так:
ionice -c3 rm -rf /path/to/dir/

ionice -c3 - получает приоритет на использование жесткого диска только когда другие программы ничего не пишут.

Спасибо. У меня постоянно что то пишет включая логи. Так что наверное удалять буду лет 20, если в обычном режеме за день не могу удалить 13 лямов файлов :D

Проще было бы задать скорость удаления/чтения 50% от диска. И так-же непонятно как озу потребляется, заметил что аномально много.

Хотелось бы всё таки удалить быстро файлы. Самым эффективным способом :D

---------- Добавлено 09.12.2018 в 09:09 ----------

WebAlt:
ТС, попробуй так:
ionice -c3 rm -rf /path/to/dir/

ionice -c3 - получает приоритет на использование жесткого диска только когда другие программы ничего не пишут.

К сожалению не удалось. Пишут что при использовании команд дикие лаги на сервере.

Остался 1 вариант. Отключить сервер от сети. И удалить как-то "волшебным образом" очень быстро.

У кого есть идеи? :D

totamon
На сайте с 12.05.2007
Offline
437
#5
Лелуш Ламперуж:
У кого есть идеи?

format c:

😂

Домены и хостинг https://8fn.ru/regru | Дедик от 3000р https://8fn.ru/73 | VPS в Москве https://8fn.ru/72 | Лучшие ВПС, ТП огонь, все страны! https://8fn.ru/inferno | ХОСТИНГ №1 РОССИИ https://8fn.ru/beget
LEOnidUKG
На сайте с 25.11.2006
Offline
1722
#6

Уж извините.

Тут или быстро или без нагрузки.

Чудес не бывает.

---------- Добавлено 09.12.2018 в 12:48 ----------

Почитайте тут:

https://habr.com/post/157613/

Особенно комменты. Там много разных ещё вариантов.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/
ЛЛ
На сайте с 12.11.2018
Offline
68
#7

Благодарю за помощь. Почитаю на хабе.

Я быстро пытался удалить, но спустя пары часов нужно было включить сервер т.к. простаивать не может.

Медленно я не знаю как удалять в фоне. Команда приоритетов: ionice -c3 rm -rf /path/to/dir/

Всё равно лагает сервер. Возможно лагает из-за потребления ОЗУ а не диска, а мб и из за диска и озу. В любом случаее как начинаю удалять быстро/медленно - начинаются лаги.

B
На сайте с 23.05.2001
Offline
195
#8
Лелуш Ламперуж:
Благодарю за помощь. Почитаю на хабе.
Я быстро пытался удалить, но спустя пары часов нужно было включить сервер т.к. простаивать не может.
Медленно я не знаю как удалять в фоне. Команда приоритетов: ionice -c3 rm -rf /path/to/dir/
Всё равно лагает сервер. Возможно лагает из-за потребления ОЗУ а не диска, а мб и из за диска и озу. В любом случаее как начинаю удалять быстро/медленно - начинаются лаги.

При чем тут ОЗУ?

Проблема именно в дисковой подсистеме, которая не успевает за ходом мысли ваших талантливых разработчиков.

Сколько из 13 млн УЖЕ удалили, используя вышеуказанные способы?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий