- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте уважаемые.
Такая проблема, есть сайт, на котором делается очень много запросов.
В целях снижения нагрузки сделали логирование в папку.
Теперь проблема удаления и чистки (дебиан)
Поставили крон
find /var/www/pols/data/www/data/logs -cmin +2880 -type f -delete
Т.е. удаляются файлы старше двух дней.
Но когда этот крон запускается, он вешает сайты и они потом не грузятся какое то время.
Потом крон отрабатывает и они начинают работать.
Есть ли решение, как можно без большой нагрузки выполнять удаление большого числа мелких файлов.
Количество очень большое.
А если сделать из одного очень большого количества несколько количеств поменьше?
В любом случае с большим количеством операций IO с мелкими файлами будет страдать дисковая подсистема. От этого не уйти.
Можно и тюнингом заморачиваться, но если в остальном все работает как нужно - можно просто разбить процесс удаления на несколько этапов или непрерывно подчищать.
как вариант: подумать над сохранением файлов во много папок, по 1-2 тыс файлов в одну папку. это значительно ускорит файловые операции.
Они разбиты на 123456789abcdef папки
Кешируемые запросы.
---------- Добавлено 27.05.2014 в 15:13 ----------
Т.е. сделать как то, что бы каждая папка еще делилась на подпапки
---------- Добавлено 27.05.2014 в 15:14 ----------
И это снизит нагрузку?
---------- Добавлено 27.05.2014 в 15:19 ----------
И еще проблема, я счас сделал копию той большой папки, т.е. переименовал ее.
А новую создал с новыми условиями. пока что чистить каждые 6 часов и время кеша 1 день.
А вот как удалить всю старую папку? Без увеличения нагрузки на жесткие диски?
Нельзя ли как то паузу что ли прикрутить к этому процессу. Что то типа задержки перед каждым новым удалением. Это же должно снизить нагрузку?
Нельзя ли как то паузу что ли прикрутить к этому процессу. Что то типа задержки перед каждым новым удалением. Это же должно снизить нагрузку?
Сделайте небольшой скриптик - получите все имена файлов под удаление. Далее разбейте их на ряд групп и постепенно удаляйте эти группы, ставя паузы между удалением.
Буду пробовать
Они разбиты на 123456789abcdef папки
Кешируемые запросы.
Т.е. сделать как то, что бы каждая папка еще делилась на подпапки
И это снизит нагрузку?
да
например в nginx делают такую структуру папок.
по этому же принципу делал на пхп: имя временного файла - md5() от нужных параметров (урла и/или ключей), структура папок - последние символы от md5.
структура такая:
cache/2/45/1111111234 (имя файла - условное, в md5 цифр/букв больше)
или
cache/23/45/1111112345
cache/23/456/1111123456
и т.д. подберите оптимальный вариант для себя. думаю три уровня вам не понадобится...
cache/23/45/67/111111234567
По идее если применить renice и ionice серверу должно полегчать.
Я вот применил ionice
Вроде полегче, но все же сервак еле еле тянет сайты.
Грузятся очень медленно
Здравствуйте уважаемые.
find /var/www/pols/data/www/data/logs -cmin +2880 -type f -delete
если -delete заменить на -exec rm {} \;
и применить ionice -c3
/ru/forum/comment/7464255;postcount=7
Как часто запускаете крон на удаление ?
Может его стоит чаще запускать и в итоге меньше файлов будет собираться?
Просто если вы удаляете файлы старше 2х часов, а крон запускаете только раз в сутки - то это как минимум не оптимизировано.
Если файлов миллионы, лично у меня 3х папочная структура.. a/b/c/abcdef....txt (первые 3 буквы имени файла).