- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Cpu(s): 0.0%us, 0.0%sy, 0.0%ni, 0.0%id, 100%wa, 0.0%hi, 0.0%si, 0.0%st
Вообщем заметил что сервер не открывает странички, захожу в шелл и вижу как значение процессора прыгает до 95-100% для wa. Сомнительных процессов в топе не наблюдалось, хотя команда топ у меня показывает только целые числа... вообщем всё по нулям было(
Через минуту сервер очухался и появились процессы бекапа на другой диск через фтп, значение wa спало на 50%. (wa - вроде как операции с диском и ожидание)
Неужели перед созданием бекапа tar и ftp могут забирать 100% проца?
Почему процесс невидно который создаёт такую нагрузку?
Конечно запускается это у меня под рутом, но это же не значит что должны потребляться все ресурсы сервера не оставляя ничего другим процессам :mad:
Вот мой скриптик бекапа, может чего перемудрил ))
# run in root directory only!
DATE=`date +%Y-%m-%d`
echo "machine myftpserver login mylogin password mypass" > .netrc
chmod 0600 .netrc
echo "send \"| tar -c /home/web1/html \" $DATE.tar
close
exit" | ftp myftpserver > /root/backup.log 2>&1 &
может быть эта проблема решится запуском процесса с меньшим приоритетом?
если да, то как это сделать через шел?
Dimanych добавил 01.07.2008 в 03:12
После создания бекапа также наблюдаются высокие коротковременные всплески для wa, так что это дело не только в бекапе, как определить что приводит к такой нагрузке?
Cpu(s): 0.0%us, 0.0%sy, 0.0%ni, 0.0%id, 100%wa, 0.0%hi, 0.0%si, 0.0%st
Вообщем заметил что сервер не открывает странички, захожу в шелл и вижу как значение процессора прыгает до 95-100% для wa. Сомнительных процессов в топе не наблюдалось, хотя команда топ у меня показывает только целые числа... вообщем всё по нулям было(
Через минуту сервер очухался и появились процессы бекапа на другой диск через фтп, значение wa спало на 50%. (wa - вроде как операции с диском и ожидание)
Неужели перед созданием бекапа tar и ftp могут забирать 100% проца?
Почему процесс невидно который создаёт такую нагрузку?
Конечно запускается это у меня под рутом, но это же не значит что должны потребляться все ресурсы сервера не оставляя ничего другим процессам 😡
Вот мой скриптик бекапа, может чего перемудрил ))
может быть эта проблема решится запуском процесса с меньшим приоритетом?
если да, то как это сделать через шел?
Dimanych добавил 01.07.2008 в 03:12
После создания бекапа также наблюдаются высокие коротковременные всплески для wa, так что это дело не только в бекапе, как определить что приводит к такой нагрузке?
Догадаюсь что os - linux 2.6. Ну все нормально - на 2.4 по-моему вообще wa не показывалось - т. е. показало бы что cpu 100% idle.
при wa процессор не работает - просто прцессы ждут ввода-вывода.
да, 2.6. debian etch
при нормальной работе сервера wa у меня достигало не более 30% коротковремено!
тут же оно почти всегда было 100% что недавало работать другим процессам и шел очень тормазил.. LA был естественно за 30.. и это всё в тихую ночь!
Я писал что через минуту всё возобновилось.. но потом опять такая же ерунда уже после завершения бекапа, я поубивал все мной запущенные процессы, nginx php proftpd cron и другие .. это не помогло, было wa100% .. какие процессы могли такое вызвать?
Что мне остовалось делать?? .. перезагрузил сервер, видимо он проверял диск, так как длилась перезагрузка минут 15. После этого всё запустил и сейчас опять работает нормально.
Как с этим бороться? может кто знает как определить чем занимается сервер в этот момент?
попробуйте запустить через команду nice, для пониженного приоритета, например, "nice -n 15 ваша_команда". значения - от -20(высочайший приоритет) до 20 (самый низкий приоритет)
2 варианта
1. DMA отвалилось/шлейф плохой
2. Винт сдыхает/перегрет
2 варианта
1. DMA отвалилось/шлейф плохой
2. Винт сдыхает/перегрет
На винт у меня в первую очередь теперь подозрение так как после рестарта пару мелких файликов пропало, возможно это было при попытки записи в фаил когда диск был перегрет.
Можно ли как то узнать точную проблему без супортов дата центра,
т.е. 1й или 2й пункт и по какую сторону черты?
Поможет ли снижения приоритета? ведь такое только при бекапе или при копировании больших файлов от 5гб, был похожий случай..
PS. может ли быть дополнительной причиной то что при бекапе очень много мелких файликов архивируется? (более миллиона)
PS. hdtemp почему то не меняется, видно нет возможности правильно определить
WARNING: Drive /dev/sda doesn't appear in the database of supported drives
WARNING: But using a common value, it reports something.
WARNING: Note that the temperature shown could be wrong.
WARNING: See --help, --debug and --drivebase options.
WARNING: And don't forget you can add your drive to hddtemp.db
/dev/sda: ST3500320AS ─: 36╟C or ╟F
похоже нужно в базу добавить как то этот диск..
Можно ли как то узнать точную проблему без супортов дата центра,
т.е. 1й или 2й пункт и по какую сторону черты?
hdparm, smartctl. Через второе так же можно посмотреть температуру. Так же можно погонять smart тесты - offline и т. д.
А какая скорость диска (и что за диск) покажется через dd if=/dev/<disk> of=/dev/zero bs=4096 count=$[1024*256]
Можно сменить fs - например на reiserfs
Самое главное сейчас - забрать быстрее бекап
Вот такой диск
http://market.yandex.ru/model.xml?hid=91033&modelid=1035963
Проверил скорость
dd if=/dev/sda of=/dev/zero bs=4096 count=$[1024*256]
262144+0 DatensДtze ein
262144+0 DatensДtze aus
1073741824 Bytes (1,1 GB) kopiert, 14,3152 Sekunden, 75,0 MB/s
Температуру выдало 37 градусов, hddtemp значит тоже верно показывает, было ведь 36.
Andreyka, бекап то я забрал.. мне бы причину точную узнать..
сегодня опять чуть всё не подвисло когда было чтение большого числа мелких файлов через пхп(типо крона)...
Вот такой диск
http://market.yandex.ru/model.xml?hid=91033&modelid=1035963
Проверил скорость
dd if=/dev/sda of=/dev/zero bs=4096 count=$[1024*256]
262144+0 DatensДtze ein
262144+0 DatensДtze aus
1073741824 Bytes (1,1 GB) kopiert, 14,3152 Sekunden, 75,0 MB/s
не помешало бы для сравнения вывод time tar ..., размер получаемого tar файла и название fs
# <sys.fichiers><pt de montage><type> <options> <dump> <pass>
/dev/sda1 / ext3 errors=remount-ro 0 1
/dev/sda2 /home ext3 defaults 1 2
/dev/sda3 swap swap defaults 0 0
proc /proc proc defaults 0 0
sysfs /sys sysfs defaults 0 0
Кое что проясняется, если я делаю в одной папке где 26тыс файлов
dir /home/user/files/
простой вывод имён файлов, то выводится мгновенно, а если
dir -l /home/user/files/
вывод с подробной инфой, то сразу всё виснет и ничего не выводит
Если я пытаюсь заархивировать эту папку, тоже всё виснет и выводит такие строки:
невозможно запустить stat для файла - фаил не найден, причём выводит название этого файла.
Потом всё висит секунд 10 и выводит сново эту ошибку для другого файла, в момент выдачи ошибки сервер оживает на мгновение )
Что это за ерунда такая, на диске битые места? Диск зацикливаясь на несколько сек пытается прочесть ошибочные фаилы?? Похоже на баг файловой системы при возникновении ошибок на диске.. не должен он так зацикливаться (
PS. таких больших папок у меня много, пока только с одной заметил такой глюк..