В связи с резким ростом на оперативу, обстановочка на рынке хостинга как-то тоже стала накаляться. Сервер стоил 23к, сейчас прислали новый прайс - 33к. РФ, контору называть не буду, но довольно известная. Как у вас делишки?
у них и коло вырос в несколько раз, причем еще до оперативки) пока все в пределах разумного, лично у меня жирок устоять еще есть, но тенденция плохая..
Sly32#: Хочу локально развернуть модель для "бедных", кому жаль платить за токены
оно тебе нафиг не нужно, возьми gemini flash для бедных студентов и преподов, 100м токенов за $10) нормально работающие локальные модели от 70B под rtx6000 96gb, еще куда ни шло, остальное под узкоспецифические задачи, но это все быстро устареет, поэтому не вижу смысла их тестировать 5090 можно взять в аренду за $150/m и там развернуть какой-нибудь дистилированный дипсик, дешевле только апи из логов юзать, но это уже серая тема) мой вердикт - бери дешевый апи от гугла и ставь ограничение на пользователя по токенам, самый оптимальный и быстрый вариант
пока толстый сохнет, худой сдохнет
пока прибыль есть, купишь и по 23к и по 33к и по 63к, а вот по 263к уже придется оптимизировать хосты)
ВЫ себя уважаете? Пишите с умным лицом про ПОМОЙКУ
ИП естественно с такими копеечными заработками не нужно.
Жирок устоять до чего?
пока прибыль есть, купишь и по 23к и по 33к и по 63к, а вот по 263к уже придется оптимизировать хосты)
Или ничего не делать?
Собственно только они и подросли пока остальные падают.
В связи с резким ростом на оперативу, обстановочка на рынке хостинга как-то тоже стала накаляться. Сервер стоил 23к, сейчас прислали новый прайс - 33к. РФ, контору называть не буду, но довольно известная. Как у вас делишки?
пока все в пределах разумного, лично у меня жирок устоять еще есть, но тенденция плохая..
Кхм. А какой может быть рандомайзер у ЭВМ? Ведь это тоже предсказуемый параметр.
Безусловно, но у нас еще поиск источника и сильная база.
Хочу локально развернуть модель для "бедных", кому жаль платить за токены
нормально работающие локальные модели от 70B под rtx6000 96gb, еще куда ни шло, остальное под узкоспецифические задачи, но это все быстро устареет, поэтому не вижу смысла их тестировать
5090 можно взять в аренду за $150/m и там развернуть какой-нибудь дистилированный дипсик, дешевле только апи из логов юзать, но это уже серая тема)
мой вердикт - бери дешевый апи от гугла и ставь ограничение на пользователя по токенам, самый оптимальный и быстрый вариант