Sly32

Александр Воробьев #:
Про архитектуру? Мне это интересно.  

Александр Воробьев #:
Ты считаешь что любая условно "кухарка" первый раз увидевшая комп может попросить агента написать  ей  систему управления умным домом, совмещеную с ведением семейного бюджета и т .д. и т.п? И это получится без багов?

alaev #:
Мне сегодня надо было решить элементарную математическую задачу. Тупо комбинаторика. Не более.

LikeAVirgin #:
Я агентам не доверяю, видя что они творят без контроля. :

LikeAVirgin #:
И да, я бы дала Claude все полностью, но не могу, когда меня посреди задачи обламывает, потому что закончились токены. Прямо нервничать начинаю. :D

Антоний Казанский #:
Верно. Уверен, в будущем возникнет острая необходимость в сотрудниках, которые будут разгребать последствия нагенерированных пластов кода, который обрастает бесконечным кол-вом багов.

Антоний Казанский #:

Всё верно. Промпты должен что-то составлять, а ценность продукта именно в его развитии и адаптации к задачам бизнеса и рынка. 

ArbNet #:
Я тоже так думал пока не попробовал заставить AI агента создавать компоненты для моего фреймворка 😎

Александр Воробьев #:Я не согласен с тем, что "это просто поисковик". Это далеко не так

Александр Воробьев #:
Блин, подбешивает, что об ИИ сейчас из всех щелей обсуждения и сам ввязался.... :)

ArbNet #:
Я утрировал, а ты как всегда всё воспринимаешь буквально.

Genius Ideaing #:

каждый IT шник должен стремиться стать главой или сопартнером мелкой, средней или крупной СВОЕЙ компании...

работать на чужого дядю.. так себе удовольствие... постоянное понукание, приказы, дедлайны и т.д. для свободного человека да еще IT шника - это унизительно..

Антоний Казанский #:
Думаю, следующее. Это конечно не по теме топика, но тема важная.

ArbNet #:
Во-вторых, обучение модели выполняется один раз, ну уменьшили они скорость и потребление ресурсов, в итоге работа генерации осталась прежняя с высокими требованиями в вычислительным мощностям.

ArbNet #:
Как ты вообще дожил-то до своих лет.. даже сам переварить моё сообщение не смог, использовал ИИ

Sly32 #:
Прочитал твой ответ, прифигел - это ж насколько нужно не читать и не понимать темы. Вот для ясности приведу ответ от ИИ

ArbNet #:
Во-первых, я ответил на ранее заданный мне вопрос чём существующие движки ИИ меня не устраивают.

LikeAVirgin #:
Это очень правильно.

ArbNet #:

Это не поможет ИМХО, есть пределы вычислительных мощностей и за них никак не перескочить.

Ты спрашивал в чём существующие модели меня не устраивают. Я уже ответил, тем что они требовательны к вычислительным мощностям. Если ты не в курсе, то существующим LLM нужно просчитывать все эмбендинги всего словаря, а это несколько сот тысяч для каждого следующего слова в ответе, то есть миллиарды операций вычислений. Да есть алгоритмы уменьшающие, но всё равно головному движку приходится перепроверять и если отклоняет вероятность, то запускать дочернюю нейросеть для поиска новой вероятности и тд.

ЗЫ. Короче проблема ИИ сейчас это очень много вычислений, то есть требовательные к вычислительным мощностям и распределить это на несколько машин тоже проблемно. Упс. Ждём квантовые компьютеры.

melkozaur #:
Дипсик конечно адовые тексты мне пишет.

DeepSeek выпустили фундаментальную переработку архитектуры трансформера.

Она решает проблему «кризиса идентичности», которая ломает очень большие модели ИИ.

Последние десять лет почти все крупные модели ИИ опирались на остаточные связи. Это быстрые обходные пути, которые позволяют сигналу перескакивать через слои и сохранять стабильность обучения.

Без них глубокие сети начинают терять информацию по пути и становятся плохо обучаемыми.

Но есть проблема: при росте глубины и размера моделей такие простые «пропуски» перестают работать.

Информация размывается. Градиенты нестабильны. Математика начинает ломаться.

DeepSeek (включая исследователей, среди которых Вэньфэн Лян) опубликовали работу с введением mHC: манивольд-ограниченные гипер-связи.

Это полная переработка того, как данные проходят внутри модели.

Вместо одного «обходного пути» они расширили его до нескольких параллельных потоков. Эти связи называют гипер-связями.

Но на этом не остановились.

Когда появляется несколько потоков, система обычно уходит в хаос. Модель теряет «отображение идентичности» — перестаёт корректно передавать информацию без искажений.

Ключевой шаг DeepSeek — принудить эти связи жить на заданном математическом многообразии.

Проецируя связи на многогранник Бёркгофа с помощью алгоритма Синхорна–Кноппа, они заставили модель оставаться устойчивой.

Сохраняется богатство маршрутов передачи данных, но сигнал не теряется и не «взрывается».

Результаты:

Стабильность: удалось обучить модель на 27 млрд параметров, которую раньше нельзя было стабилизировать с обычными гипер-связями.

Производительность: значительное улучшение на бенчмарках кодирования, математики и рассуждений (BBH и DROP).

Эффективность: несмотря на усложнение, кастомное ядро добавляет примерно 6,7% накладных расходов на обучение.

Последние годы индустрия пыталась делать модели умнее через увеличение масштаба.

DeepSeek показали, что реальный прирост даёт исправление «инфраструктуры» внутри модели.

Будущее масштабирования — не только в увеличении числа слоёв.

Оно в более качественных связях между ними.