Romka_Kharkov

Romka_Kharkov
Рейтинг
485
Регистрация
08.04.2009
Должность
Хостинг
Качественный хостинг
myhand:

Все подробно и полно описано в документации, Вам указать туда дорогу?

Давайте линк, обязательно ознакомлюсь.

LineHost:
Странные посчёты и по моему далеки от реальности.

Не забегайте раньше времени вперед :D Обсудим :D

LineHost:

1. Для начала бэкап надо создать. Если это архив, то на 100 гб реального хостинга на мощном сервере с RAID10 (сервере, не на десктопе типа i920, которые пользуется спросом у хостёров) уйдёт около часа, если нет пользователей с огромным количеством мелких файлов на акаунте. Если не повезло, то 100 гб может создаватся 5-6 часов или даже больше. Если надо лимитировать использование ресурсов на копирование, чтобы не тормозить сервер, времени понадобится ещё больше.

Тут и спорить нет смысла, ни кто не говорит что хаотичный контент запрыгнет в самый сжатый архив за пару секунд :D У меня процесс длиться монотонно, отжираем мало, по времени идет долго, какраз около 6 часов а то и больше наверное, но в результате я имею файлы :d они же мегабайты и они так важны для клиента. Мне не жалко потратить 6 часов времени что бы потом в случае чего у меня была копия информации ))) тем более что ждать то не надо, оно по крону как-то само последние пару лет работает :d

LineHost:

2. 100 ГБ надо скинуть на удаленный сервер. На 100 мбпс сети, если не жалко отдать практически весь канал на резервное копирование, за час можно слить около 36 ГБ. На 100 ГБ грубо уйдёт три часа. Если сервер на который сливается копии способен принять весь трафик на полной скорости, в это время сайты клиентов будут тормозить достаточно сильно. В реальности на резервный сервер в одно и тоже время сливается с нескольких серверов, по этому канал рабочего сервера забит меньше, но весь процес длится дольше.

Вы главное не забывайте о параллельности процесса, и о том, что бекапов то много и они разные, или вы думаете мы сперва собираем всех хоумдиры в тарболы, потому пакуем их в один большой тарбол и потом отправляем одним куском ... нет, они заливаются в момент создания, соответственно избыточное время на перенос может появиться только при паковании и переносе последнего клиента, а остальное время проходит параллельно упаковке и отправке по-юзерно на бекап сервер. А если 1 Gb/s ?

LineHost:

В неблагополучных условиях такая схема резервирования станет тормозом и фактихески сервер будет большую часть времени перегружен, а клиенты недовольны.

То есть вы таки верите что в данной схеме они могут быть благополучны? Это приятно :D

LineHost:

Также такой прогон трафика скажем с одного датацентра на другой обойдётся достаточно дорого, так как всё таки реальные 3 ТБ в месяц. По этому на практике чаще всего бекапы делается на тот же диск который на самом сервере и чаще всего даже не RAID1.

Если лить из ДЦ в ДЦ через кучу лиинй - да будет сложно, но какие проблемы взять в том же ДЦ сервер для бекапа, или в каждом ДЦ где у вас сервера взять по серверу? Только финансы.... А так схема вполне живет успешно и долгое время, главное не стоит надеяться на то , что в 1 бекап сервер можно всунуть больше чем он может :D Тогда условия будут не благоприятные и бесспорно всему пипец.....

faedrus:
Romka_Kharkov, читаю ваши посты и не совсем понимаю. Вы считаете что хостер не обязан заботиться о безопасности своих серверов и не обязан делать бекапы?

Не, вы что, как вы могли такое подумать после того что я написал выше, у меня даже два сервера для бекапов одного и того же пучка серверов, я просто хочу подчеркнуть тот момент, что петициями на форуме о том, что хостер был должен.......... делу не помочь, вы сидите без контента, без сайта, без заработка, без...., без...... , без...... а могли бы просто в целях собственной безопасности сделать хотя бы 1 раз в неделю бекап себе на ПК и писать уже не "помогите, спасите, хостер верни бекап", а "срочно ищу хостинг".

(Адресую в ваш адрес, так как вы задали вопрос, ничего личного естественно :D)

Вот еще что добавлю:

Одно дело если бы такого рода поступки хостера можно было бы легко юридически наказать, то поверьте, бекап был бы у всех.... остальные бы покинули рынок естественным путем :D

Но тут вот вопрос в том, что выбирая хостинг человек может даже не представлять, что у хостера 1 бекап который ротируется в тот же день... это просто смешно.... если знать об этом ... выбор бы пал в другую сторону к примеру... (имею ввиду к другому поставщику услуги).... по этому обезопасить себя самому - не это ли красота полета, а хостер если потеряет контент то это последний кто сможет вам помочь в таком случае :D разве что в виде компенсации материальной если будет судом это установлено..... вот в чем логика моя.... А хостеры ответственные я вас уверяю делают бекапы и скорее всего похлеще чем я тут со своими двумя запасными копиями :D

Andreyka:
А места хватает?

Каждый день в одно и то же время заканчивается место ?:) Мало вероятно, очень мало вероятно :)

Romka_Kharkov добавил 18.08.2011 в 12:56

iHead:
если короче, то после ротации нужно рестартануть апача

Двоешник :D

Romka_Kharkov добавил 18.08.2011 в 13:02

myhand:
То же относится и к Romka_Kharkov. После ротации логов достаточно сделать graceful restart (apachectl graceful или сигнал USR1).

Только вся эта чушь не относится к проблеме ТС.

Как-то вы весьма категоричны, чем в описанном мною случае USR1 от HUP будет отличаться?

Конфиги будут перечитаны, логи будут переоткрыты... или я что-то путаю?

ware:
А Вы каждый день делаете бэкап c 200 Гб на удаленный сервер? :)
Инкрементный бэкап ISPsystem пока не хочет реализовывать...

Кто как делает, вот такой пример вам:


# du -sh *
103G 2011-07-29
103G 2011-08-01
103G 2011-08-08
103G 2011-08-15

Это данные с промежуточного сервера который хранит бекапы недельные, а есть точно такой же , который хранит промежутки между 2011-08-01 и 2011-08-08 к примеру (daily). Не сложная схема, но все сервера разные, а вот эти 103 GB это бекапы с нескольких серверов к которым прикреплен данный бекап сервер. Но когда у людей хранится ВСЕГО 1 бекап? это по моему все равно что его нет :D Тем более, что он ротируется ежедневно :)

Romka_Kharkov добавил 18.08.2011 в 12:49

IT-Host:

А если Вы обобщенно - то конечно, нужды бекап станции.

Бекап станции нужны когда у вас очень много серверов, как правило шаред хостинг кушает места не много, именно шаред, я не говорю про спец хостинг для раздачи видео и прочего, у меня например масивы на серверах заняты дай бог на 10%, из 750G, а это допустим ~100GB, для содержания такого размера в течении допустим недели надо 700 GB для одного сервера... Ну а винты мы сами знаем какие сегодня есть, собираем сервер с 5x3 TRB и такого сервера по данному расчету будет достаточно для содержания ежедневного бекапа в течении недели ... для 20 серверов............. По этому прикиньте сколько надо что бы 5 серверов бекапить ... ;))) там копейки получаются, фактически еще 1 сервер только с уклоном на винты..... а CPU/RAM по минимуму... чисто FS... Но кто это делает ???? Зачем это? Столько тем создается на форуме, одна красивее другой ;) Но все с одним смыслом "Мы думали что бекапы делает хостер" :) Напрашивается блин один ответ "МОЛОДЦЫ!!!".... Тема изъедена временем, пройдена тысячами, не наверное даже сотнями тысяч людей но все равно все экономят на бекапах...........................

Во время очистки логов, ротатор может пытаться изменить дескриптор файла, точнее он может очищать файл после ротации вместе с дескриптором, на моей памяти в syslog был специальный ключик, который передает родительскому пиду HUP в момент ротации, что бы последний перечитал конфиг и дескрипторы всех файлов переоткрыл ессесно.

Pilat:
Умные люди давно (в 2006-) году посчитали точно кто сколько.
http://www.ixbt.com/storage/hddpower-pro.shtml , раздел "Стартовый ток" . Как видно, проблема действительно есть, но разве что +100-200 ватт на 12 дисков при старте. Хотя для redundant блоков питания это тоже может быть существенно.

Значит я таки посчитал после Olme-ки почти правильно? :D :D

IT-Host:
Спасение утопающих дело рук самих утопающих (с). Из той-же темы.

В связи с тем что многие пренебрегают бекапами либо случаются обстоятельства на которые хостер физически не может повлиять - делайте бекапы, хотя-бы раз в неделю себе на ПК, будете спокойнее.

Поддерживаю целиком и полностью!

Из личных примеров рассказываю: 1 раз в месяц делаю бекап ~150GB к себе на локальный ПК.

При скорости от 200kb/s до 500kb/s в пиках... т.е представляете себе сколько времени это занимает вообще? Но я терпелив ибо этот процесс решает многое и очень даже многое, какие бы не были обстоятельства... когда все лежит у вас на домашнем ПК - уже спокойно. Ессесно дома тоже RAID, но уже дома....

zexis:

Странный у вас расчет.
Если один винт при запуске потребляет 0,5А при 12 вольтах, то мощность потребляемая одним винтом 0,5А*12вольт = 6 Ватт.
Откуда вы взяли 1,3кВт?

Оторвало моск видимо мне :D Почему-то применил к 220v ;) Небольшая погрешность в расчете :D :D , тогда что-то не понимаю , если 6 ватт потребления на винт да на 12 , 72W получается, чего тогда БП то помирает?

Romka_Kharkov добавил 17.08.2011 в 19:42

neznaika:

+1, тоже неясно откуда взялись такие дикие цифры.

из квадратной бутылки Olmeca Gold выпитой вчера :D :D :D

Jake Foley:
у меня сейчас стоят 2 винта по 1ТБ в рейде, третий крутится в сторонке.

на дисках высокий iowait (хостинг картинок). думаю добавить еще 2 винта в рейде чтоб снизить нагрузку (всего можно поставить 5 глянул в информации по корпусу).

Теперь задача - долаживать 2 винта что выйдет в примерно в 200 у.е. и если перекинуть файлы то снизит теоретически нагрузку на 50% или арендовать дешевый сервер (атом с винтами) и туда заливать часть файлов.

Прозрачный кеш решит вашу проблему, 1го винта на 100 гиг будет достаточно, правда в доп. сервере.

Romka_Kharkov добавил 17.08.2011 в 12:38

Skom:
Есть одна тонкость, рэйд должен уметь спин делэй. Иначе, если все 12 сразу стартанут, блок питания скажет - "дальше без меня" :D

Довольно интересно, на сколько я помню обычные IDE винты при +5/+12V хотят около 0.5A, соответственно на 12 винтов понадобится 6A, А это около 1.3 киловата...... Где прочитать про "spin delay" доступно, аж интересно стало, это выходит рейд обладает возможностью запуска винтов поочередно для того что бы погасить пусковые токи? Что за контроллер?

Кстати, приведенная вами ссылка на ящик, показывает что там еще 1 внутренний 2.5" есть винтик?

Всего: 6838