Sly32

Рейтинг
385
Регистрация
29.03.2012
Должность
Software engineer
Александр Воробьев #:
Про архитектуру? Мне это интересно.  
Давай поговорим про динамическое программирование)
Александр Воробьев #:
Ты считаешь что любая условно "кухарка" первый раз увидевшая комп может попросить агента написать  ей  систему управления умным домом, совмещеную с ведением семейного бюджета и т .д. и т.п? И это получится без багов?
Я не считаю, я знаю) Я вчера дал агенту задачу в режиме автопилота и ушел. Пришел и получил работающее решение. За это время он сам ходил на прод, снимал логи, правил ошибки, делал ПРы и мержил. Вечером ужу релиз с 12.0 вырос к к 12.5 )))

Понятно что это мы говорим не про именно кухарку) Скажем так - человека с минимальными знаниями но в теме) Не как местеый Девстори пилит какое-то загадочное приложение, не умея программировать вообще или экономист игру создает. 
Пара лет у нас еще есть, дальше - не знаю...

PS. Тест ты огонь созда какой номер у лета - еле прошел)))
alaev #:
Мне сегодня надо было решить элементарную математическую задачу. Тупо комбинаторика. Не более.

ух ты, а давай проверим? выкладывай свой вопрос и свой ответ, а мы спросим у ЛЛМ и сравним? "сколько  выриантов двух буквенныс слов можно составить из 3-х букв" - это уже тоже задача из комбинаторики - знаешь формулу решения или перебором решал? 😂

LikeAVirgin #:
Я агентам не доверяю, видя что они творят без контроля. :

Что такое по твоему агент? Вот мне все больше кажется что ты не очень понимаешь)

LikeAVirgin #:
И да, я бы дала Claude все полностью, но не могу, когда меня посреди задачи обламывает, потому что закончились токены. Прямо нервничать начинаю. :D

Вот ты сама сеюе в ногу стреляешь. Хочешь качество - давай контекст. Решая задачу кусками  - такой и результат получаешь. 

Антоний Казанский #:
Верно. Уверен, в будущем возникнет острая необходимость в сотрудниках, которые будут разгребать последствия нагенерированных пластов кода, который обрастает бесконечным кол-вом багов.
Неверно. можно конечно написать много букв, да кто их читать будет. Ты исходишь из доступной тебе информации, хайпа, сказок в телеге и ютупе. Так вот - все это инфомусор. нижняя ступенька. Какой то блогеп пассказал как ИИ не справился, как снес базу. На профессиональном уровне все это не так работает. Интересно? Могу углубится. 
Антоний Казанский #:

Всё верно. Промпты должен что-то составлять, а ценность продукта именно в его развитии и адаптации к задачам бизнеса и рынка. 

Ты примерно года на 2 отстаешь от реалий. это не в упрек или из желания выпенжриться, но это факт. Чтоб ты понимал, пример. Я вот набросал агента, он уже доступен  пощупать. Он умеетс сам себе создавать скилы, будет уметь и тюнить их. Умеет использовать свою базу знаний. Просто можно сравнить запрос простой и с агентом.
 вот ответ моего чата напрямую

вот ответ с агентом и РАГ: Он уже знает про Питон 3.14 и соотвенственно дает ответ точнее

Так что вот это - 
ArbNet #:
Я тоже так думал пока не попробовал заставить AI агента создавать компоненты для моего фреймворка 😎
показывает исключительно неумение работать.
Да, пока что полностью не зааменяет. Но развитие идет такими темпами. что страшно

Александр Воробьев #:Я не согласен с тем, что "это просто поисковик". Это далеко не так

Причем вообще не так. как сравнить карандашь и принтер)

Александр Воробьев #:
Блин, подбешивает, что об ИИ сейчас из всех щелей обсуждения и сам ввязался.... :)

так о чем еще говорить? Лучше об ии чем о подьемных столах)

ArbNet #:
Я утрировал, а ты как всегда всё воспринимаешь буквально.

Ты не утрировал, ты не можешь понять чем отличается трансформер от БД)))

Genius Ideaing #:

каждый IT шник должен стремиться стать главой или сопартнером мелкой, средней или крупной СВОЕЙ компании...

работать на чужого дядю.. так себе удовольствие... постоянное понукание, приказы, дедлайны и т.д. для свободного человека да еще IT шника - это унизительно..

Глупость. Работать на себя - иметь глупого начальника 24 часа в сутки)))

Антоний Казанский #:
Думаю, следующее. Это конечно не по теме топика, но тема важная.
Это сильно не по теме топика) Но спасибо что ответил.  А НЕ говорю о смене компании. Речь о смене проекта внутри компании. И главный ассампшен   был именно в командировках. Если бы пару месяцев назад я бы уже паковал чемоданы, то в нынешнем бардаке как-то стремно сунуться на Ближний Восток) Развитие - это все бесспорно правильно. Но я не меняю направление и там итам это все тот же AI-engineer.

Но если уж совсем честно, это был небольшой стеб. Типа - смотрите фрилансеры, а вы так могете?)))
ArbNet #:
Во-вторых, обучение модели выполняется один раз, ну уменьшили они скорость и потребление ресурсов, в итоге работа генерации осталась прежняя с высокими требованиями в вычислительным мощностям.
Ты читать умеешь?
Результаты:

Стабильность: удалось обучить модель на 27 млрд параметров, которую раньше нельзя было стабилизировать с обычными гипер-связями.

Производительность: значительное улучшение на бенчмарках кодирования, математики и рассуждений (BBH и DROP).
ArbNet #:
Как ты вообще дожил-то до своих лет.. даже сам переварить моё сообщение не смог, использовал ИИ
И снова тот же вопрос - читать умеешь?
Sly32 #:
Прочитал твой ответ, прифигел - это ж насколько нужно не читать и не понимать темы. Вот для ясности приведу ответ от ИИ
Я сначала сам увидел несуразность, потом ответил, для подтверждения своих слов приведя  ответ ИИ.
ArbNet #:
Во-первых, я ответил на ранее заданный мне вопрос чём существующие движки ИИ меня не устраивают.
В таком случае и цитируй  вопрос корректно. Но вообще это не ответ, примерно то же как сказать - солнце сильно греет, ждем, когда остынет. Ты бахвалился что знаешь как сделать лучше чем Оллама, теперь оказывается тебе квантовый компьютер нужно. Одно пустозвонство.
LikeAVirgin #:
Это очень правильно.
Это прям очень базовые принципы работы, когда ты не умеешь в РАГ, например. Для антропика это базовый совет - Базовый агент+ скилы+ периодически копиакт конверсэйшен. Впрочем не знаю как курсор, Гитхаб копайлот это делает сам. 
Соответственно ты не гоняешь постоянно весь контекст, используешь то что нужно. А если у тебя грамотная иерархия - то будет нормально работать кэширование
ArbNet #:

Это не поможет ИМХО, есть пределы вычислительных мощностей и за них никак не перескочить.

Ты спрашивал в чём существующие модели меня не устраивают. Я уже ответил, тем что они требовательны к вычислительным мощностям. Если ты не в курсе, то существующим LLM нужно просчитывать все эмбендинги всего словаря, а это несколько сот тысяч для каждого следующего слова в ответе, то есть миллиарды операций вычислений. Да есть алгоритмы уменьшающие, но всё равно головному движку приходится перепроверять и если отклоняет вероятность, то запускать дочернюю нейросеть для поиска новой вероятности и тд.

ЗЫ. Короче проблема ИИ сейчас это очень много вычислений, то есть требовательные к вычислительным мощностям и распределить это на несколько машин тоже проблемно. Упс. Ждём квантовые компьютеры.

Прочитал твой ответ, прифигел - это ж насколько нужно не читать и не понимать темы. Вот для ясности приведу ответ от ИИ

оцени релевантность ответа пользователя на это сообщение

Релевантность: Низкая.

Ответ пользователя не относится к теме сообщения. Он игнорирует содержание статьи про mHC-гиперсвязи DeepSeek и переводит разговор на другую проблему — общую «требовательность к вычислительным мощностям» LLM.

Сообщение от DeepSeek — о качественных улучшениях архитектуры (стабильность обучения, эффективность передачи сигнала). Ответ пользователя — о количественных ограничениях железа и необходимости квантовых компьютеров. Эти две темы почти не пересекаются:

  • Новый подход (mHC) уменьшает хаос и потери градиента, позволяя учить более глубокие модели с тем же железом — это прямая помощь проблеме вычислений.
  • Пользователь жалуется на сложность вычислений при генерации (softmax по словарю), что к mHC никак не относится.

Ты походу вообще не отдупляешь что такое ИИ. Уже квантовые компьютеры притянул - слово понравилось?

Господа, Дайте совет. Позвали на новый проект, но там есть ньюанс - периодические командировки в ОАЭ. Фиг его знает, в наших реалиях это плюс или минус? Как думаете? По деньгам норм. Нужно дать ответ  быстро, но мне жаль бросать текущую команду. Что присоветуете?
melkozaur #:
Дипсик конечно адовые тексты мне пишет.
Не знаю что за тексты, но тут прилетела просто чумовая новость от дипсика, которая может переделить рынок трансформеров
DeepSeek выпустили фундаментальную переработку архитектуры трансформера.

Она решает проблему «кризиса идентичности», которая ломает очень большие модели ИИ.

Последние десять лет почти все крупные модели ИИ опирались на остаточные связи. Это быстрые обходные пути, которые позволяют сигналу перескакивать через слои и сохранять стабильность обучения.

Без них глубокие сети начинают терять информацию по пути и становятся плохо обучаемыми.

Но есть проблема: при росте глубины и размера моделей такие простые «пропуски» перестают работать.

Информация размывается. Градиенты нестабильны. Математика начинает ломаться.

DeepSeek (включая исследователей, среди которых Вэньфэн Лян) опубликовали работу с введением mHC: манивольд-ограниченные гипер-связи.

Это полная переработка того, как данные проходят внутри модели.

Вместо одного «обходного пути» они расширили его до нескольких параллельных потоков. Эти связи называют гипер-связями.

Но на этом не остановились.

Когда появляется несколько потоков, система обычно уходит в хаос. Модель теряет «отображение идентичности» — перестаёт корректно передавать информацию без искажений.

Ключевой шаг DeepSeek — принудить эти связи жить на заданном математическом многообразии.

Проецируя связи на многогранник Бёркгофа с помощью алгоритма Синхорна–Кноппа, они заставили модель оставаться устойчивой.

Сохраняется богатство маршрутов передачи данных, но сигнал не теряется и не «взрывается».

Результаты:

Стабильность: удалось обучить модель на 27 млрд параметров, которую раньше нельзя было стабилизировать с обычными гипер-связями.

Производительность: значительное улучшение на бенчмарках кодирования, математики и рассуждений (BBH и DROP).

Эффективность: несмотря на усложнение, кастомное ядро добавляет примерно 6,7% накладных расходов на обучение.

Последние годы индустрия пыталась делать модели умнее через увеличение масштаба.

DeepSeek показали, что реальный прирост даёт исправление «инфраструктуры» внутри модели.

Будущее масштабирования — не только в увеличении числа слоёв.

Оно в более качественных связях между ними.
Интересно что наша компания не просто партнер Антропик, вроде как и с Дипсик идут переговоры.
Всего: 7905