Что может, что не может AI. Обсуждаем возможности, делимся опытом, спорим, но в рамках приличия.

melkozaur #:
А, и сайтики дипсик норм ваяет,

Sly32 #:
Пока что впечатления от него сугубо положительные - не знаю насколько с ним можно работать  как с агентом для написания сервиса, но внутри готового он ведет себя очень хорошо. С учетом цены - отлично. Я его научил создавать уроки, тесты, с раг он нормально работает(но это еще в стадии проверки) 
За целый день работы потратил 3 цента))) Я его даже сделал по умолчанию для тех кто хочет халявы теперь. 
Но понятно что это тлько первые впечатления.

melkozaur #:
Ну меньше же косячит чем если бы человек кожаный?

Devstory #:
Сегодня столкнулся с 2-мя неприятными багами Клода. Клод дизайн постоянно вылетал с такой ошибкой, не смотря на мой оплаченный тариф max. Очистка кэша не помогала , а помогал  только разлогин и  повторная авторизация, но после первого промпта все по новой начиналось.  Прожорливая штука, кстати, сожрала у меня почти весь недельный лимит пока сгенерил шаблоны семи экранов своего приложения. 

melkozaur #:
Дипсик конечно адовые тексты мне пишет.

DeepSeek выпустили фундаментальную переработку архитектуры трансформера.

Она решает проблему «кризиса идентичности», которая ломает очень большие модели ИИ.

Последние десять лет почти все крупные модели ИИ опирались на остаточные связи. Это быстрые обходные пути, которые позволяют сигналу перескакивать через слои и сохранять стабильность обучения.

Без них глубокие сети начинают терять информацию по пути и становятся плохо обучаемыми.

Но есть проблема: при росте глубины и размера моделей такие простые «пропуски» перестают работать.

Информация размывается. Градиенты нестабильны. Математика начинает ломаться.

DeepSeek (включая исследователей, среди которых Вэньфэн Лян) опубликовали работу с введением mHC: манивольд-ограниченные гипер-связи.

Это полная переработка того, как данные проходят внутри модели.

Вместо одного «обходного пути» они расширили его до нескольких параллельных потоков. Эти связи называют гипер-связями.

Но на этом не остановились.

Когда появляется несколько потоков, система обычно уходит в хаос. Модель теряет «отображение идентичности» — перестаёт корректно передавать информацию без искажений.

Ключевой шаг DeepSeek — принудить эти связи жить на заданном математическом многообразии.

Проецируя связи на многогранник Бёркгофа с помощью алгоритма Синхорна–Кноппа, они заставили модель оставаться устойчивой.

Сохраняется богатство маршрутов передачи данных, но сигнал не теряется и не «взрывается».

Результаты:

Стабильность: удалось обучить модель на 27 млрд параметров, которую раньше нельзя было стабилизировать с обычными гипер-связями.

Производительность: значительное улучшение на бенчмарках кодирования, математики и рассуждений (BBH и DROP).

Эффективность: несмотря на усложнение, кастомное ядро добавляет примерно 6,7% накладных расходов на обучение.

Последние годы индустрия пыталась делать модели умнее через увеличение масштаба.

DeepSeek показали, что реальный прирост даёт исправление «инфраструктуры» внутри модели.

Будущее масштабирования — не только в увеличении числа слоёв.

Оно в более качественных связях между ними.

melkozaur #:

Дипсик конечно адовые тексты мне пишет.