Mac Studio M5 Ultra 512gb ram, ждем?

Это какие по вашему локальные ллм "рвут опус 4.7"?

То что облачные ллм не хотят детально анализировать эксплойты из соображений безопасности это правда, но это лишь часть кодинга и ту которую при настойчивом промте можно обойти. Но не в одних бенчамарках я не вижу чтобы кто-то обходил опус.

На чем сейчас запускаете? Я вижу что мак-мини 32гб+ везде выкуплены, а на ebay какомнибудь они 2200 usd+ за 32гб версию,  а за эти деньги можно уже  GMKtec EVO-X2 AI Mini PC AMD Ryzen™ AI Max+ 395 купить пару месяцев назад были примерно по 2400 USD (сейчас уже 3349 usd) или rtx 4090 24gb. Понятно что ryzen еще уступают m4 в скорости, но и на 128гб можно больше модель запихнуть чем на 32гб. По сабжу, тоже надеюсь что m5 сделает прорыв в этом направлении. С одной стороны можно 10к потратить на такое дело, а с другой сейчас каждый производитель участвует в гонке и что было актуально еще год назад будет оставаться далеко позади с новыми технологиями. Intel еще может что сделают.

Интересно, вот клауд/codex/gemini/grok(пытается) рассчитаны на кодеров. Но, они же должны понимать, что гик сообщество оно на то и есть гик сообщество, что мы сами себе купим железо и все настроим и в их АПИ смысл упадет как только можно будет локально реально свой опус 4.7 без цензуры развернуть. Вроде там не дураки работают и должны были это просчитать, но при этом те миллиарды которые они вкладывают в свои дата центры удивляет. Во первых производители будут все лучше железо для локального ллм выпускать, а во вторых их собственное железо на которое они потратили столько денег будет быстро устаревать и при чем это страшный неликвид будет. Мне кажется что мы все просто перейдем на свои собственные ллм и они резко потеряют текущий доход от платящих подписок.

Если даже у обычного юзера будет возможность потратить 2-3к юсд на какойто новый minipc который позволит реально развернуть свою локальную опус 4.7 (да даже не опус, соннет достаточно) без лимитов и без цензуры и главное без платной подписки, то кто останется платить подписку клауд/codex/gemini/grok?

Мне кажется или ТС немного преувеличивает качество локальных LLM? У облачных LLM "лошадиная сила" не в 500 Гб RAM, а целые здания с серверами..

мне опус не раз отказывался отвечать или угрожал заблочить мне ак 😀 что я хакер и плохой человек. при анализе уязвимостей в своих же скриптах, и его часто сложно убедить что я на доброй стороне.

bartowski/DeepSeek-R1-Distill-Qwen-32B-abliterated-GGUF голову не дурил и четко проверял и находил косяки и показывал варианты потенциального взлома. 

Beelink SER6-P https://bee-link.ru/ser6-p с 32 гигами, но это самый начальный уровень, хотя уже более менее влазят в память модели рабочие, но скорость 3-8 токенов в секунду, на прогерских задачах. тексты генерить/переводить до 19.

да вот эти AMD и на более новых 495 серии вполне могут стать заменой, если по цене будут конкурировать.  я б что-то подобное купил бы, но в наших краях это заморочки с растаможкой, я в такое пока не умею заказывать 😀

я его изучал и на 70B моделях он где-то 4-7 токена дает,  а таким пользоваться невозможно имхо, разве что на ночь ему задачи оставлять и идти спать.

Ждем m5, ждем intel, и еще есть хороший вариант это взять Minipc который идет с oculink и например новую Intel Arc Pro B70 32гб vram правда пока еще софт сыроват в сравнении с CUDA.

на мак мини и студио много хороших вариантов но они все 3-7к юсд. Та ультра что на 512гб вышла вообще за 34 000 юсд на ибее перекупщики торгуют, но это уже не рациональная цена.

Вам кажется. Локальные модели уже очень близко подбираются https://overchat.ai/ai-hub/best-local-llm-for-coding

58.7% на SWE-bench это примерно уровень начала 2025 года по облачным моделям. Если сравнивать с линейкой Claude:

• Sonnet 4.6 (фев 2026): 79.6%
• Sonnet 4.5 (сен 2025): 77.2%
• Sonnet 4 (май 2025): 72.7%
• Qwen3-Coder-Next: 58.7%
• Claude 3.7 Sonnet (фев 2025): ~62%
• Claude 3.5 Sonnet (2024): ~49%

а у них что интересного ожидается?