проблема в неоднородной нагрузке на разные файлы 🍿
Андрей, вот когда миллиард их там...
мой рекорд раздачи 4 гига с двух серверов... мелких тумб, но не pron. больше четырех у них не выжирало... там оно и больше наверное разадавать может. сервера относительно копеечные.
kxk, ну мы и с иностранными работаем... если валютный контроль непротив. просто каждый хочет подсунуть какую-то анонимную жопу и протектить такие же анонимные жопы 🍿
так это его новая версия... больше новых рефереров, юзерагентов и прочей херни. такие боты только для продажи школозащит нужны.
Андрей, так то школьная задача... у тебя файлов по кол-ву мало.
kostich добавил 02.06.2011 в 11:20
ну я выше про центральные ноды не писал... а у тебя юзера куда-то логинятся разве?
сегодня тут нового бота засекли... вернее старого, но чуток отрефактореного. оказывается это тот самый slow post про которого на хабре писали... ржачная хрень...
POST //news HTTP/1.1 Host: www.нашклиент.ru User-Agent: Scooter Referer: http://www.webmoney.ru/ Content-Type: application/x-www-form-urlencoded Content-Length: 44996 Connection: close
пока такие дибилы дидосят селлить неактуально... все на клиентском сервере можно фильтрануть.
ну вариант с одним хомяком для одной фото при кол-ве файлов более полумиллиарда непрокатывает :)
зачем ему настоящее имя файла фото или видео после аплоада? там где-то в юзерской панели оставить можно, а для раздачи оно уже не суть важно. ну и зачем на md5 кидаться... у вас миллиарды фото? это может быть вообще не хэш, а ID файла в системе разадчи... из ID всё вынимается без лишних заглядываний в базу.
а если серверов 100?
kostich добавил 01.06.2011 в 13:26
Андрей, и что у меня там нелинейно? Ты видел хоть сервер где штук 500 разделов подмаунчено? Вот перемаунтишь 100 серверов каждый с каждым по NFS, следовательно NFS сервер будет на каждом... можешь 500 :) до каких размеров линию проводим? Вы там на сколько гигабит собрались раздавать?
почему? если я бы раздавал с 3х серверов и балансил по хэшу, то временно бы подержал бы на нфс. в нфс как минимум кэш блоковый есть. сервер-сторадж и сервер-диспетчер в одном флаконе.
kostich добавил 01.06.2011 в 09:17
мы еще не знаем сколько миллиардов фоток ему раздавать. помню в великие времена innd с инодами дефицит был... сейчас легше, но эффективность многих процессов от кол-ва мелких файлов снижается.
Андрей, я через IPMI операционку переставляю спокойно... и уже забыл когда с ДЦ общался + попробуй мне посоветовать портов на 50 квм-ов с такими фишками + провода по стойкам разведи для них... фишки про звонки в дц с просьбой переткнуть дорогой квм уже проходили.
kostich добавил 01.06.2011 в 09:05
был хинт когда через импи какое-то железо сломанное на мамке отключали, там через биос это можно делать + диагностика... в ДЦ обращаешься когда им хард или проц с памятью уже приехали на замену и тупо просишь переткнуть. потом незабывай про управление питаловом, а это еще одна железка... в ipmi всё это уже есть. так шо про говно не надо... посмотри сколько копеек импи модуль стоит :)
