В связи с резким ростом на оперативу, обстановочка на рынке хостинга как-то тоже стала накаляться. Сервер стоил 23к, сейчас прислали новый прайс - 33к. РФ, контору называть не буду, но довольно известная. Как у вас делишки?
у них и коло вырос в несколько раз, причем еще до оперативки) пока все в пределах разумного, лично у меня жирок устоять еще есть, но тенденция плохая..
Sly32#: Хочу локально развернуть модель для "бедных", кому жаль платить за токены
оно тебе нафиг не нужно, возьми gemini flash для бедных студентов и преподов, 100м токенов за $10) нормально работающие локальные модели от 70B под rtx6000 96gb, еще куда ни шло, остальное под узкоспецифические задачи, но это все быстро устареет, поэтому не вижу смысла их тестировать 5090 можно взять в аренду за $150/m и там развернуть какой-нибудь дистилированный дипсик, дешевле только апи из логов юзать, но это уже серая тема) мой вердикт - бери дешевый апи от гугла и ставь ограничение на пользователя по токенам, самый оптимальный и быстрый вариант
смотря для чего, включать светодиод по событию с помощью llm можно, а чудес расчудесных от таких моделей можно не ждать) конкретно из последних использовал UI-TARS и MAI-UI, для специфичного закрывания всплывашек рекламы на мобилках) из локальных рабочих моделей стоит пробовать запускать qwen 3.5 чем старше тем лучше, или glm5 но она тяжелее сомневаюсь что ноута хватит, все остальное хуже по моим наблюдениям мой повседневный топ юзфул это codex 5.4, opus 4.6, gemini 3.1, grog 4.2 гоняться и выбирать лучше/дешевле не имеет смысла, через 1-3-6 месяцев все изменится)
ВЫ себя уважаете? Пишите с умным лицом про ПОМОЙКУ
ИП естественно с такими копеечными заработками не нужно.
Жирок устоять до чего?
пока прибыль есть, купишь и по 23к и по 33к и по 63к, а вот по 263к уже придется оптимизировать хосты)
Или ничего не делать?
Собственно только они и подросли пока остальные падают.
В связи с резким ростом на оперативу, обстановочка на рынке хостинга как-то тоже стала накаляться. Сервер стоил 23к, сейчас прислали новый прайс - 33к. РФ, контору называть не буду, но довольно известная. Как у вас делишки?
пока все в пределах разумного, лично у меня жирок устоять еще есть, но тенденция плохая..
Кхм. А какой может быть рандомайзер у ЭВМ? Ведь это тоже предсказуемый параметр.
Безусловно, но у нас еще поиск источника и сильная база.
Хочу локально развернуть модель для "бедных", кому жаль платить за токены
нормально работающие локальные модели от 70B под rtx6000 96gb, еще куда ни шло, остальное под узкоспецифические задачи, но это все быстро устареет, поэтому не вижу смысла их тестировать
5090 можно взять в аренду за $150/m и там развернуть какой-нибудь дистилированный дипсик, дешевле только апи из логов юзать, но это уже серая тема)
мой вердикт - бери дешевый апи от гугла и ставь ограничение на пользователя по токенам, самый оптимальный и быстрый вариант
посоветуешь локальную модель хорошую?
конкретно из последних использовал UI-TARS и MAI-UI, для специфичного закрывания всплывашек рекламы на мобилках)
из локальных рабочих моделей стоит пробовать запускать qwen 3.5 чем старше тем лучше, или glm5 но она тяжелее сомневаюсь что ноута хватит, все остальное хуже по моим наблюдениям
мой повседневный топ юзфул это codex 5.4, opus 4.6, gemini 3.1, grog 4.2
гоняться и выбирать лучше/дешевле не имеет смысла, через 1-3-6 месяцев все изменится)