Pavel.Odintsov

Pavel.Odintsov
Рейтинг
169
Регистрация
13.05.2009
mnn:
Для грубого подсчёта можно взять 2 - 10 тысяч изменённых/добавленных/удалённых файлов между синхронизациями. Это много для отслеживания таким способом?

Не думаю, даже почти уверен, что работать будет отлично. В моих словах "много" было от нескольких миллионов и выше :) Хотя стоп, а общее число файлов какое? Тут нагрузку создает не число измененных файлов, а число контролируемых.

Pilat:
Как вариант: те директории, которые часто меняются, копировать rsync как и раньше, а изменения в остальных отслеживать с помощью inotify (если достаточно редко там файлы меняются).

При большом числе контролируемых файлов / папок оно будет тормозить. Хотя, возможно, для случая ТС как раз подойдет.

Pavel.Odintsov добавил 07.03.2010 в 23:48

mnn:
Спасибо всем откликнувшимся!

Pavel.Odintsov, да система Линукс. Интересное решение, но может быть, что-то подобное можно сделать без вмешательства в ядро? (не повлечёт ли это за собой новые проблемы?)

Проблем не повлечет, там очень аккуратный патч. Но решение все же очень специфичное и вряд ли Вам подойдет, для единичной задачи это все же пушкой по воробьям :)

Как предложили выше, альтернативный вариант уже встроен во все ядра и называется inotify. Беглый поиск оп репо Дебияна выдает ряд интересных решений:


iwatch - realtime filesystem monitoring program using inotify
python-pyinotify - Simple Linux inotify Python bindings
inotify-tools - command-line programs providing a simple interface to inotify
gamin - File and directory monitoring system
katu:
Как можно ограничить доступ к сайту, если идёт слишком много запросов, например более 100 запросов в минуту с 1 IP

Это можно сделать фаерволлом iptables, например, вот так (лимит в двадцать уникальных соединений в минуту с одного IP):

iptables -A INPUT -p tcp --dport 80 -m state --state NEW -m recent --name http --set
iptables -A INPUT -p tcp --dport 80 -m state --state NEW -m recent --name http --update --seconds 60 --hitcount 20 -j DROP
Andreyka:
Писать в пайп и парсить налету
Слабо?
🚬

Ну почему же, это стандартная фича Апача, вопрос разве что за скриптом-анализа. Только это решение ради решения, а подсчет трафика в модуле веб-сервера намного легче и удобнее :)

mnn:
Делаю регулярный бэкап при помощи Rsync. Общее количество файлов, которые синхронизирую, порядка миллиона. Естественно, все файлы не нужно ежедневно перекачивать, т. к. лишь несколько тысяч из них изменяются/появляются/удаляются.

Каждый раз, перед синхронизированием, Rsync, как известно, составляет список файлов для передачи. Из-за большого количества файлов, эта процедура, длится час-два, при том, что непосредственно передача файлов занимает считанные минуты.

Вопрос: Можно ли сделать так, чтобы сократить время подготовки Rsync к передаче файлов?

Спасибо!

Можно заставить ядро Линукса (если, конечно, используется он) самого сообщать о том, какие файлы изменились и потом синхронизировать только их, вот пример решения: http://phpsuxx.blogspot.com/2010/01/2627.html (правда требует патча ядра, что далеко не всегда и не для всех приемлемо).

Andreyka:
Ну и дура! 🤣

А когда аксес логи по гигабайт эдак 15 за сутки тоже по логам считать? :)

Leon1010:
Добрый день.
Я хотел бы заказать аренду еще одного сервера у Вас.
Но, меня совершенно не устраивает разбивка разделов при установке ОС, в прошлый раз мне все на один раздел поставили.
Если я пришлю вам или в службу поддержки список разделов и их размер, Вы сможете организовать разбивку так?

Если у Вас Linux, Вы можете сделать это сами из Rescue - installimage. Там на этапе установки ОС есть выбор (три строки внизу файла конфигурации), какую делать разбивку.

Ну или пишите нам в саппорт необходимую разбивку, сделаем переразбивку сами, но только с форматированием дисков, разумеется.

avenew:
Добрый день, уважаемые форумчане!
Недавно совершил переезд проекта с виртуального хостинга на VPS от РБК.
Сайт, при посещаемости 1000 -1300 уников в сутки стал ужасно тормозить, иногда страницы открываются по минуте почти:(
При всем при этом, оперативка используется только на треть, из 512 Мб.. и процессор грузится не более чем на 25%. На запрос в суппорт РБК, получил ответ:
У Вас превышается целый ряд лимитов тарифного плана
resource held maxheld barrier limit failcnt
tcpsndbuf 5636 481856 478932 786432 104497563
tcprcvbuf 0 685340 478932 786432 5766
othersockbuf 28176 484348 478932 786432 151401
numtcpsock 21 120 120 120 138
lockedpages 0 235 256 256 165
Где failcnt - количество превышений (раз). Проблемы в работе сайта и всего VPS
скорее всего была вызвана этими превышениями.

Я новичок, и нифига не понимаю в этом...
Помогите пожалуйста разобраться с проблемой! Заранее спасибо!

Либо ограничения выставлены намеренно либо это просто ошибка в конфигурации лимитов. Предоставьте пожалуйста всю выдачу cat /proc/user_beancounters.

Boris A Dolgov:
Я не уверен в акутальности моих данных, но около года назад модуль ispmanager-a кидал в специальный лог данные по трафику сразу из апача. Было можно забирать трафик из nginx, кидать его в тот лог.

Вы про /usr/local/ispmgr/var/httpd-acct.log ? Да, интересно, не обращал внимания на него раньше. Zaqwr, прошу прощения, был неправ.

Anigilator(Ramzes):
Павел у меня пара вопросов. Конфигурация NHS3 у хетзнера имеет уже 975 проц, не успели исправить, я так понимаю?
И есть ли у вас вариант с конфигурацией на уровне - Xeon / SCSI(или SAS)?

Исправим, спасибо.

К сожалению, в данный момент нету, но мы работаем в данном направлении и данные конфигурации у нас обязательно появятся, но сроков пока сказать не могу.

Всего: 1954