mnn: Для грубого подсчёта можно взять 2 - 10 тысяч изменённых/добавленных/удалённых файлов между синхронизациями. Это много для отслеживания таким способом?
Не думаю, даже почти уверен, что работать будет отлично. В моих словах "много" было от нескольких миллионов и выше :) Хотя стоп, а общее число файлов какое? Тут нагрузку создает не число измененных файлов, а число контролируемых.
Pilat: Как вариант: те директории, которые часто меняются, копировать rsync как и раньше, а изменения в остальных отслеживать с помощью inotify (если достаточно редко там файлы меняются).
При большом числе контролируемых файлов / папок оно будет тормозить. Хотя, возможно, для случая ТС как раз подойдет.
Pavel.Odintsov добавил 07.03.2010 в 23:48
mnn: Спасибо всем откликнувшимся!
Pavel.Odintsov, да система Линукс. Интересное решение, но может быть, что-то подобное можно сделать без вмешательства в ядро? (не повлечёт ли это за собой новые проблемы?)
Проблем не повлечет, там очень аккуратный патч. Но решение все же очень специфичное и вряд ли Вам подойдет, для единичной задачи это все же пушкой по воробьям :)
Как предложили выше, альтернативный вариант уже встроен во все ядра и называется inotify. Беглый поиск оп репо Дебияна выдает ряд интересных решений:
iwatch - realtime filesystem monitoring program using inotify python-pyinotify - Simple Linux inotify Python bindings inotify-tools - command-line programs providing a simple interface to inotify gamin - File and directory monitoring system
Ну почему же, это стандартная фича Апача, вопрос разве что за скриптом-анализа. Только это решение ради решения, а подсчет трафика в модуле веб-сервера намного легче и удобнее :)
mnn: Делаю регулярный бэкап при помощи Rsync. Общее количество файлов, которые синхронизирую, порядка миллиона. Естественно, все файлы не нужно ежедневно перекачивать, т. к. лишь несколько тысяч из них изменяются/появляются/удаляются.
Каждый раз, перед синхронизированием, Rsync, как известно, составляет список файлов для передачи. Из-за большого количества файлов, эта процедура, длится час-два, при том, что непосредственно передача файлов занимает считанные минуты.
Вопрос: Можно ли сделать так, чтобы сократить время подготовки Rsync к передаче файлов?
Спасибо!
Можно заставить ядро Линукса (если, конечно, используется он) самого сообщать о том, какие файлы изменились и потом синхронизировать только их, вот пример решения: http://phpsuxx.blogspot.com/2010/01/2627.html (правда требует патча ядра, что далеко не всегда и не для всех приемлемо).
Leon1010: Добрый день.
Я хотел бы заказать аренду еще одного сервера у Вас.
Но, меня совершенно не устраивает разбивка разделов при установке ОС, в прошлый раз мне все на один раздел поставили.
Если я пришлю вам или в службу поддержки список разделов и их размер, Вы сможете организовать разбивку так?
Если у Вас Linux, Вы можете сделать это сами из Rescue - installimage. Там на этапе установки ОС есть выбор (три строки внизу файла конфигурации), какую делать разбивку.
Ну или пишите нам в саппорт необходимую разбивку, сделаем переразбивку сами, но только с форматированием дисков, разумеется.
avenew: Добрый день, уважаемые форумчане!
Недавно совершил переезд проекта с виртуального хостинга на VPS от РБК.
Сайт, при посещаемости 1000 -1300 уников в сутки стал ужасно тормозить, иногда страницы открываются по минуте почти:(
При всем при этом, оперативка используется только на треть, из 512 Мб.. и процессор грузится не более чем на 25%. На запрос в суппорт РБК, получил ответ:
У Вас превышается целый ряд лимитов тарифного плана
resource held maxheld barrier limit failcnt
tcpsndbuf 5636 481856 478932 786432 104497563
tcprcvbuf 0 685340 478932 786432 5766
othersockbuf 28176 484348 478932 786432 151401
numtcpsock 21 120 120 120 138
lockedpages 0 235 256 256 165
Где failcnt - количество превышений (раз). Проблемы в работе сайта и всего VPS
скорее всего была вызвана этими превышениями. Я новичок, и нифига не понимаю в этом...
Помогите пожалуйста разобраться с проблемой! Заранее спасибо!
Либо ограничения выставлены намеренно либо это просто ошибка в конфигурации лимитов. Предоставьте пожалуйста всю выдачу cat /proc/user_beancounters.
Boris A Dolgov: Я не уверен в акутальности моих данных, но около года назад модуль ispmanager-a кидал в специальный лог данные по трафику сразу из апача. Было можно забирать трафик из nginx, кидать его в тот лог.
Вы про /usr/local/ispmgr/var/httpd-acct.log ? Да, интересно, не обращал внимания на него раньше. Zaqwr, прошу прощения, был неправ.
Anigilator(Ramzes): Павел у меня пара вопросов. Конфигурация NHS3 у хетзнера имеет уже 975 проц, не успели исправить, я так понимаю?
И есть ли у вас вариант с конфигурацией на уровне - Xeon / SCSI(или SAS)?
Исправим, спасибо.
К сожалению, в данный момент нету, но мы работаем в данном направлении и данные конфигурации у нас обязательно появятся, но сроков пока сказать не могу.
Для грубого подсчёта можно взять 2 - 10 тысяч изменённых/добавленных/удалённых файлов между синхронизациями. Это много для отслеживания таким способом?
Не думаю, даже почти уверен, что работать будет отлично. В моих словах "много" было от нескольких миллионов и выше :) Хотя стоп, а общее число файлов какое? Тут нагрузку создает не число измененных файлов, а число контролируемых.
Как вариант: те директории, которые часто меняются, копировать rsync как и раньше, а изменения в остальных отслеживать с помощью inotify (если достаточно редко там файлы меняются).
При большом числе контролируемых файлов / папок оно будет тормозить. Хотя, возможно, для случая ТС как раз подойдет.
Pavel.Odintsov добавил 07.03.2010 в 23:48
Спасибо всем откликнувшимся!
Pavel.Odintsov, да система Линукс. Интересное решение, но может быть, что-то подобное можно сделать без вмешательства в ядро? (не повлечёт ли это за собой новые проблемы?)
Проблем не повлечет, там очень аккуратный патч. Но решение все же очень специфичное и вряд ли Вам подойдет, для единичной задачи это все же пушкой по воробьям :)
Как предложили выше, альтернативный вариант уже встроен во все ядра и называется inotify. Беглый поиск оп репо Дебияна выдает ряд интересных решений:
iwatch - realtime filesystem monitoring program using inotify
python-pyinotify - Simple Linux inotify Python bindings
inotify-tools - command-line programs providing a simple interface to inotify
gamin - File and directory monitoring system
Как можно ограничить доступ к сайту, если идёт слишком много запросов, например более 100 запросов в минуту с 1 IP
Это можно сделать фаерволлом iptables, например, вот так (лимит в двадцать уникальных соединений в минуту с одного IP):
Писать в пайп и парсить налету
Слабо?
🚬
Ну почему же, это стандартная фича Апача, вопрос разве что за скриптом-анализа. Только это решение ради решения, а подсчет трафика в модуле веб-сервера намного легче и удобнее :)
Делаю регулярный бэкап при помощи Rsync. Общее количество файлов, которые синхронизирую, порядка миллиона. Естественно, все файлы не нужно ежедневно перекачивать, т. к. лишь несколько тысяч из них изменяются/появляются/удаляются.
Каждый раз, перед синхронизированием, Rsync, как известно, составляет список файлов для передачи. Из-за большого количества файлов, эта процедура, длится час-два, при том, что непосредственно передача файлов занимает считанные минуты.
Вопрос: Можно ли сделать так, чтобы сократить время подготовки Rsync к передаче файлов?
Спасибо!
Можно заставить ядро Линукса (если, конечно, используется он) самого сообщать о том, какие файлы изменились и потом синхронизировать только их, вот пример решения: http://phpsuxx.blogspot.com/2010/01/2627.html (правда требует патча ядра, что далеко не всегда и не для всех приемлемо).
Ну и дура! 🤣
А когда аксес логи по гигабайт эдак 15 за сутки тоже по логам считать? :)
Добрый день.
Я хотел бы заказать аренду еще одного сервера у Вас.
Но, меня совершенно не устраивает разбивка разделов при установке ОС, в прошлый раз мне все на один раздел поставили.
Если я пришлю вам или в службу поддержки список разделов и их размер, Вы сможете организовать разбивку так?
Если у Вас Linux, Вы можете сделать это сами из Rescue - installimage. Там на этапе установки ОС есть выбор (три строки внизу файла конфигурации), какую делать разбивку.
Ну или пишите нам в саппорт необходимую разбивку, сделаем переразбивку сами, но только с форматированием дисков, разумеется.
Добрый день, уважаемые форумчане!
Недавно совершил переезд проекта с виртуального хостинга на VPS от РБК.
Сайт, при посещаемости 1000 -1300 уников в сутки стал ужасно тормозить, иногда страницы открываются по минуте почти:(
При всем при этом, оперативка используется только на треть, из 512 Мб.. и процессор грузится не более чем на 25%. На запрос в суппорт РБК, получил ответ:
У Вас превышается целый ряд лимитов тарифного плана
resource held maxheld barrier limit failcnt
tcpsndbuf 5636 481856 478932 786432 104497563
tcprcvbuf 0 685340 478932 786432 5766
othersockbuf 28176 484348 478932 786432 151401
numtcpsock 21 120 120 120 138
lockedpages 0 235 256 256 165
Где failcnt - количество превышений (раз). Проблемы в работе сайта и всего VPS
скорее всего была вызвана этими превышениями.
Я новичок, и нифига не понимаю в этом...
Помогите пожалуйста разобраться с проблемой! Заранее спасибо!
Либо ограничения выставлены намеренно либо это просто ошибка в конфигурации лимитов. Предоставьте пожалуйста всю выдачу cat /proc/user_beancounters.
Я не уверен в акутальности моих данных, но около года назад модуль ispmanager-a кидал в специальный лог данные по трафику сразу из апача. Было можно забирать трафик из nginx, кидать его в тот лог.
Вы про /usr/local/ispmgr/var/httpd-acct.log ? Да, интересно, не обращал внимания на него раньше. Zaqwr, прошу прощения, был неправ.
Павел у меня пара вопросов. Конфигурация NHS3 у хетзнера имеет уже 975 проц, не успели исправить, я так понимаю?
И есть ли у вас вариант с конфигурацией на уровне - Xeon / SCSI(или SAS)?
Исправим, спасибо.
К сожалению, в данный момент нету, но мы работаем в данном направлении и данные конфигурации у нас обязательно появятся, но сроков пока сказать не могу.