мой рекорд раздачи 4 гига с двух серверов... мелких тумб, но не pron. больше четырех у них не выжирало... там оно и больше наверное разадавать может. сервера относительно копеечные.
kxk, ну мы и с иностранными работаем... если валютный контроль непротив. просто каждый хочет подсунуть какую-то анонимную жопу и протектить такие же анонимные жопы 🍿
сегодня тут нового бота засекли... вернее старого, но чуток отрефактореного. оказывается это тот самый slow post про которого на хабре писали... ржачная хрень...
POST //news HTTP/1.1
Host: www.нашклиент.ru
User-Agent: Scooter
Referer: http://www.webmoney.ru/
Content-Type: application/x-www-form-urlencoded
Content-Length: 44996
Connection: close
пока такие дибилы дидосят селлить неактуально... все на клиентском сервере можно фильтрануть.
То есть вы предлагаете, что бы ссылки на картинки были в таком виде?
http://site.ru/918a4c8b3a84d763 где 918a4c8b3a84d763 – md5 от реального пути к папке сервера.
Что это даст?
Как сервер по хэшу md5 восстановит реальный путь к файлу?
зачем ему настоящее имя файла фото или видео после аплоада? там где-то в юзерской панели оставить можно, а для раздачи оно уже не суть важно. ну и зачем на md5 кидаться... у вас миллиарды фото? это может быть вообще не хэш, а ID файла в системе разадчи... из ID всё вынимается без лишних заглядываний в базу.
zexis: На моем фото-сайте ссылки на картинки имеют такой вид.
/834/174/ - путь к нужной папке сервера, в которой лежит файл картинки.
а если серверов 100?
kostich добавил 01.06.2011 в 13:26
Andreyka: kostich, ключевые слова - горизонтальное масштабирование. nfs там не нужен в принципе.
Андрей, и что у меня там нелинейно? Ты видел хоть сервер где штук 500 разделов подмаунчено? Вот перемаунтишь 100 серверов каждый с каждым по NFS, следовательно NFS сервер будет на каждом... можешь 500 :) до каких размеров линию проводим? Вы там на сколько гигабит собрались раздавать?
почему? если я бы раздавал с 3х серверов и балансил по хэшу, то временно бы подержал бы на нфс. в нфс как минимум кэш блоковый есть. сервер-сторадж и сервер-диспетчер в одном флаконе.
kostich добавил 01.06.2011 в 09:17
мы еще не знаем сколько миллиардов фоток ему раздавать. помню в великие времена innd с инодами дефицит был... сейчас легше, но эффективность многих процессов от кол-ва мелких файлов снижается.
Andreyka: IP/KVM тоже позволяет подмонтировать. Как локальный так и удаленный - по smb/ftp/http.
Просто надо покупать нормальный kvm, а не дешевое гуано.
Андрей, я через IPMI операционку переставляю спокойно... и уже забыл когда с ДЦ общался + попробуй мне посоветовать портов на 50 квм-ов с такими фишками + провода по стойкам разведи для них... фишки про звонки в дц с просьбой переткнуть дорогой квм уже проходили.
kostich добавил 01.06.2011 в 09:05
был хинт когда через импи какое-то железо сломанное на мамке отключали, там через биос это можно делать + диагностика... в ДЦ обращаешься когда им хард или проц с памятью уже приехали на замену и тупо просишь переткнуть. потом незабывай про управление питаловом, а это еще одна железка... в ipmi всё это уже есть. так шо про говно не надо... посмотри сколько копеек импи модуль стоит :)
Число файлов не принципиально. Линейное масштабирование рулит.
проблема в неоднородной нагрузке на разные файлы 🍿
У меня файлов очень много.
Андрей, вот когда миллиард их там...
Это же pron :)
мой рекорд раздачи 4 гига с двух серверов... мелких тумб, но не pron. больше четырех у них не выжирало... там оно и больше наверное разадавать может. сервера относительно копеечные.
kxk, ну мы и с иностранными работаем... если валютный контроль непротив. просто каждый хочет подсунуть какую-то анонимную жопу и протектить такие же анонимные жопы 🍿
kxk добавил 02-06-2011 в 11:28
kostich, Мне больше нравиться бот с Lenta.ru, rbc.ru и тд, я его даже в регулярки прописал :)
так это его новая версия... больше новых рефереров, юзерагентов и прочей херни. такие боты только для продажи школозащит нужны.
Андрей, так то школьная задача... у тебя файлов по кол-ву мало.
kostich добавил 02.06.2011 в 11:20
полная отказоустойчивость, нет центральной ноды.
ну я выше про центральные ноды не писал... а у тебя юзера куда-то логинятся разве?
сегодня тут нового бота засекли... вернее старого, но чуток отрефактореного. оказывается это тот самый slow post про которого на хабре писали... ржачная хрень...
пока такие дибилы дидосят селлить неактуально... все на клиентском сервере можно фильтрануть.
Согласен - чем кривее архитектура, тем больше софта она требует :)
ну вариант с одним хомяком для одной фото при кол-ве файлов более полумиллиарда непрокатывает :)
Не уверен, что правильно понял вашу идею.
То есть вы предлагаете, что бы ссылки на картинки были в таком виде?
http://site.ru/918a4c8b3a84d763
где 918a4c8b3a84d763 – md5 от реального пути к папке сервера.
Что это даст?
Как сервер по хэшу md5 восстановит реальный путь к файлу?
зачем ему настоящее имя файла фото или видео после аплоада? там где-то в юзерской панели оставить можно, а для раздачи оно уже не суть важно. ну и зачем на md5 кидаться... у вас миллиарды фото? это может быть вообще не хэш, а ID файла в системе разадчи... из ID всё вынимается без лишних заглядываний в базу.
На моем фото-сайте ссылки на картинки имеют такой вид.
/834/174/ - путь к нужной папке сервера, в которой лежит файл картинки.
а если серверов 100?
kostich добавил 01.06.2011 в 13:26
kostich, ключевые слова - горизонтальное масштабирование. nfs там не нужен в принципе.
Андрей, и что у меня там нелинейно? Ты видел хоть сервер где штук 500 разделов подмаунчено? Вот перемаунтишь 100 серверов каждый с каждым по NFS, следовательно NFS сервер будет на каждом... можешь 500 :) до каких размеров линию проводим? Вы там на сколько гигабит собрались раздавать?
Он там просто лишний
почему? если я бы раздавал с 3х серверов и балансил по хэшу, то временно бы подержал бы на нфс. в нфс как минимум кэш блоковый есть. сервер-сторадж и сервер-диспетчер в одном флаконе.
kostich добавил 01.06.2011 в 09:17
мы еще не знаем сколько миллиардов фоток ему раздавать. помню в великие времена innd с инодами дефицит был... сейчас легше, но эффективность многих процессов от кол-ва мелких файлов снижается.
IP/KVM тоже позволяет подмонтировать. Как локальный так и удаленный - по smb/ftp/http.
Просто надо покупать нормальный kvm, а не дешевое гуано.
Андрей, я через IPMI операционку переставляю спокойно... и уже забыл когда с ДЦ общался + попробуй мне посоветовать портов на 50 квм-ов с такими фишками + провода по стойкам разведи для них... фишки про звонки в дц с просьбой переткнуть дорогой квм уже проходили.
kostich добавил 01.06.2011 в 09:05
был хинт когда через импи какое-то железо сломанное на мамке отключали, там через биос это можно делать + диагностика... в ДЦ обращаешься когда им хард или проц с памятью уже приехали на замену и тупо просишь переткнуть. потом незабывай про управление питаловом, а это еще одна железка... в ipmi всё это уже есть. так шо про говно не надо... посмотри сколько копеек импи модуль стоит :)