En0w1na

En0w1na
Рейтинг
49
Регистрация
23.11.2020
truebusiness #:
Мне кажется или ТС немного преувеличивает качество локальных LLM? У облачных LLM "лошадиная сила" не в 500 Гб RAM, а целые здания с серверами..
Вам кажется. Локальные модели уже очень близко подбираются https://overchat.ai/ai-hub/best-local-llm-for-coding


58.7% на SWE-bench это примерно уровень начала 2025 года по облачным моделям. Если сравнивать с линейкой Claude:

  • Sonnet 4.6 (фев 2026): 79.6%
  • Sonnet 4.5 (сен 2025): 77.2%
  • Sonnet 4 (май 2025): 72.7%
  • Qwen3-Coder-Next: 58.7%
  • Claude 3.7 Sonnet (фев 2025): ~62%
  • Claude 3.5 Sonnet (2024): ~49%

Mik Foxi #:
да вот эти AMD и на более новых 495 серии вполне могут стать заменой, если по цене будут конкурировать.  я б что-то подобное купил бы, но в наших краях это заморочки с растаможкой, я в такое пока не умею заказывать 😀
я его изучал и на 70B моделях он где-то 4-7 токена дает,  а таким пользоваться невозможно имхо, разве что на ночь ему задачи оставлять и идти спать.

Ждем m5, ждем intel, и еще есть хороший вариант это взять Minipc который идет с oculink и например новую Intel Arc Pro B70 32гб vram правда пока еще софт сыроват в сравнении с CUDA.

на мак мини и студио много хороших вариантов но они все 3-7к юсд. Та ультра что на 512гб вышла вообще за 34 000 юсд на ибее перекупщики торгуют, но это уже не рациональная цена.
Интересно, вот клауд/codex/gemini/grok(пытается) рассчитаны на кодеров. Но, они же должны понимать, что гик сообщество оно на то и есть гик сообщество, что мы сами себе купим железо и все настроим и в их АПИ смысл упадет как только можно будет локально реально свой опус 4.7 без цензуры развернуть. Вроде там не дураки работают и должны были это просчитать, но при этом те миллиарды которые они вкладывают в свои дата центры удивляет. Во первых производители будут все лучше железо для локального ллм выпускать, а во вторых их собственное железо на которое они потратили столько денег будет быстро устаревать и при чем это страшный неликвид будет. Мне кажется что мы все просто перейдем на свои собственные ллм и они резко потеряют текущий доход от платящих подписок.

Если даже у обычного юзера будет возможность потратить 2-3к юсд на какойто новый minipc который позволит реально развернуть свою локальную опус 4.7 (да даже не опус, соннет достаточно) без лимитов и без цензуры и главное без платной подписки, то кто останется платить подписку клауд/codex/gemini/grok?
Mik Foxi #:

если просто для анализа кода на уязвимости и недоработки, так локальные с убранной цензурой рвут опус 4.7, находят больше проблемных мест в коде, на которые стоит обратить внимание.

Это какие по вашему локальные ллм "рвут опус 4.7"?

То что облачные ллм не хотят детально анализировать эксплойты из соображений безопасности это правда, но это лишь часть кодинга и ту которую при настойчивом промте можно обойти. Но не в одних бенчамарках я не вижу чтобы кто-то обходил опус.


Mik Foxi #:
в 32 гб видео памяти влазит и норм работает по качеству из того что попробовал:
bartowski/cerebras_Qwen3-Coder-REAP-25B-A3B-GGUF - в целом в программировании соображает.
unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF - для агентского программирования норм.
bartowski/DeepSeek-R1-Distill-Qwen-32B-abliterated-GGUF - для программирования и особенно для секьюрити-аудитов.


На чем сейчас запускаете? Я вижу что мак-мини 32гб+ везде выкуплены, а на ebay какомнибудь они 2200 usd+ за 32гб версию,  а за эти деньги можно уже  GMKtec EVO-X2 AI Mini PC AMD Ryzen™ AI Max+ 395 купить пару месяцев назад были примерно по 2400 USD (сейчас уже 3349 usd) или rtx 4090 24gb. Понятно что ryzen еще уступают m4 в скорости, но и на 128гб можно больше модель запихнуть чем на 32гб. По сабжу, тоже надеюсь что m5 сделает прорыв в этом направлении. С одной стороны можно 10к потратить на такое дело, а с другой сейчас каждый производитель участвует в гонке и что было актуально еще год назад будет оставаться далеко позади с новыми технологиями. Intel еще может что сделают.
Slav_on #:

Совершенно верно! Про настройку кеширующих серверов в локальных сетях написано миллион статей. Влепить свое TTL для домена и тем более на сутки это надо быть ну под чем-то. Учитывая что провайдерам вообще плевать что там бегает в их локалке городить свой TTL (на сутки) точно никто не будет.

Какая глупость и некомпетентность. Короткий TTL увеличивает трафик и нагрузку на серверы и сеть, но нужен когда активно меняете DNS записи. При коротком TTL кэш быстро протухает и браузер вынужден чаще делать свежий DNS-запрос вместо того чтобы взять адрес из кэша - отсюда периодические лишние миллисекунды при открытии сайта. При большом TTL все строго наоборот. И да, некоторые ISP как раз игнорируют TTL из ответа и кэшируют по своему усмотрению чтобы снизить нагрузку на свои резолверы.
temniy #:

Да ну это же бред откровенный. Сделать простейшую интеграцию с API какого-то сервиса стоит 4 ярда?  Да я б уже милиардером давно был!

Другое дело, что действительно требуется время, и тестирование.  Вон, у Билайна, например, до сих пор интеграция с Госуслугами не работает, 4 ярда не нашли, видимо. 

Основная цель понятна - снять с регистраторов ответственность за идентификацию клиентов, обязанности по хранению и актуализации копий документов. А для клиентов - лишить регистраторов доступа к документам и лишним персональным данным.

Думаете, они закон придумали потому что за регистраторов и клиентов переживают? Вы же на полном серьезе это написали, да?
kalmarsw #:
Деньги на российском рынке зарабатывать хочу, но под российскую юрисдикцию не хочу и по правилам, которые устанавливает страна, в которой я зарабатываю деньги, тоже играть не хочу. 

Однако, губа не дура))
2on2 #:

Потому что это стандартная игра в Робин Гуда. Зарабатывать (забирать) денюжки у страшных "россиян" и тратить их на европейских эльфов там считается добром. Поэтому и соблюдать законы можно только в пределах ЕС, а у других законы соблюдать необязательно.

А вы тему совсем не читали?
master32 #:
во прикол будет, когда заблочат зону com, прогвев пошел)



Складывается впечатление, что смысл как раз в этом. Только не уверен, что экономика справится с такой блокировкой.
Resett #:
Давайте. Кто какие нашел альтернативы? У меня в закладках несколько есть вариантов  ( firstfds, 1gb.ru, fastvps.ru, ihc.ru) VPS с теми же параметрами, за которые теперь хочет Бегет тысяча р/мес, стоят примерно около 400 , и даже с бОльшим диском. И 2 ядра вместо 1 у некоторых.


я в шапке темы добавил Landvps. Пользуюсь уже месяц, пока проблем не было.
tripsik #:

Да, история супермутная там. Но их за то что хостили норкошопы вроде посадили, а не это. А так та еще помойка хостинг был. Кто теперь рулит их бизнесом неизвестно пока они сидят. А может и не сидят уже. Никто не знает.

Но по отзывам людей кто там еще остался, работает все там кое как. Постоянно отваливается. Они еще под санкции попали их отключили от мирового интернета. Но не все локации датацентов, некоторые работают еще вроде как но в черных списках сети их, спам и все такое. Сервера с такими грязными айпишками мало кому нужны, только если под спам.

Подтвержу слова про нестабильность. Сам тестировал их питерский датацентр для реверс прокси до Хетзнера (Финляндия) - пинг был фантастический, ~6 ms, прямой пиринг без лишних хопов. Но SSL соединение зависало намертво с таймаутом, при том что пинг и TCP работали нормально. Из вашего комментария понятно почему. Жаль, по железу и маршруту были бы идеальным вариантом.

А вот про историю с арестом не был в курсе.
Всего: 87