Sly32

Рейтинг
391
Регистрация
29.03.2012
Должность
Software engineer
Челендж на 2026
Александр Воробьев #:
 Мне кажется это везде такой подход используется. Возможно с вариациями, но в целом.   Мне кажется это только если кто то на конкретном проекте или прототипе иначе подходит к вопросу.

Согласен, де факто стандарт. Но не для ллм) чтобы агент следовал этому, приходится обучать, иначе пихает все в кучу

Челендж на 2026

ArbNet , появилась идея. Фрейворк свой ты все равно не допилишь, давай изменим задачу.
AI logs analyzer -  умный анализатор логов.

Суть  идеи - создается простая модель класса nanoGPT. То есть по сути - трансформер. Обучается на реальных логах. 

умеет:

  • продолжать лог
  • предсказывать следующую строку
  • выявлять аномальные последовательности
  • объяснять ошибки.

На форуме часто возникают вопросы по анализу логов. Вот шанс показать свои знания и сделать полезный проект. Готовые ЛЛМ не используем, модель должна быть создана и обучена с нуля на реальных данных.  Как ты это делаешь, что используешь - без разницы, Раст, плюсы или пайтон.
Это не такой долгоиграющий проект , примерно на месяц, если с запасом. В итоге отдаем свои модели в общий доступ, народ тестирует, сравнивает.

Как тебе идея - готов? А то от тебя слов много. давай к делу? Я готов поучаствовать, все желающие тоже приглашаются.
Челендж на 2026
ArbNet #:
Во-первых он написан на C++ да это скорость, но она сопряжена с риском сбоев, утечек памяти и тд. и тп. хотя у него есть возможность использовать графический процессор, если его использовать по скорости он примерно будет почти как Rust, но требователен к памяти. Во-вторых, пайтон это накладные расходы для скорости, преобразование типов переменных и прочее, замедление не хилое, для полезной работы остаются 10-20% времени. В-третьих, даже если его использовать через обёртку tch-rs в самом Rust, то первый пункт останется(риски утечек памяти, хотя в современных версиях это поубавилось, а мы помним как раньше чаты висли, но всё равно C++ остаётся не безопасным). Ну и тяжелый он, 2-3 гига вроде если с CUDA.
Совет - прежде чем лезть спорить в темы, где ты - ноль, хотя бы погугли или спроси нейросеть, чтобы вот так с размаху не сесть в лужу. По пунктам:
ArbNet #:
скорость, но она сопряжена с риском сбоев, утечек памяти и тд.

риск  ≠ утечка. Все проблемы плюсов известы, и в конкретно Pytorch нет никаких утечек, а наоборот, максимальная оптимизация по памяти

ArbNet #:
Во-вторых, пайтон это накладные расходы для скорости, преобразование типов переменных и прочее, замедление не хилое, для полезной работы остаются 10-20% времени.

Полная чушь. Там пайтон - только удобная оболочка, все считается в С++, на пайтон может 5%  процентов 

ArbNet #:
В-третьих, даже если его использовать через обёртку tch-rs в самом Rust, то первый пункт останется(риски утечек памяти

Почитай, что решает  tch-rs и для чего он.

ArbNet #:
Ну и тяжелый он, 2-3 гига вроде если с CUDA.

Вот именно - с CUDA. И Rust  здесь никак не помогает - все равно нужно использовать  CUDA.
По итогу - никакого прироста не даст переход на Rust.  Из полезных кейсов, что мне известны - это токенизация на Rust. Hugging Face ее давно используют у себя. 
Все остальное - пустые слова. Pytorch - известный продукт, над которым работают большие команды. В этом его сила. Тот же JAX -  хорош, но нет такого же коммьюнити.

Главное что я понял - ты вообще не понимаешь математики построения моделей. И поэтому не понимаешь что Раст никакого волшебства не даст. Более того, все это опробовано давно. 
Ты опять паяешь транзисторы там, где надо просто сложить 2+2.

ArbNet #:
У меня задача иная, придумать лучшие подходы и сделать лучше чем у других.

Нет у тебя такой задачи, для этого знания нужны. И впервые слышу чтоб кладовщика просили улучшить ЛЛМ))

Челендж на 2026
Александр Воробьев #:
Я имею очень поверхостное представление об обсуждаемой вами тематики. правильно ли я понимаю, если проводить аналогии с веб разработкой: это [создание своего фреймворка в этой области] как при задаче создать новостной сайт начать с создания своего вебсервера?
Абсолютно 🤣
Челендж на 2026
ArbNet #:
Естественно 😀 ты в своём репертуаре
Естетсвенно, я пишу только о том, что знаю. 
ArbNet #:
Знаю про разные фреймворки для ИИ
С какими ты работал?
ArbNet #:
Но они мне не подходят.
Что именно в них тебе не подходит? 
ArbNet #:
У меня задача иная, придумать лучшие подходы и сделать лучше чем у других.

У тебя задача - бесконечно трепаться на форумах, не более. Какие иные подходы есть, расскажешь? Ты по другому считаешь производные и градиенты? придумал новый способ перераспределять веса? Придумал новый алгоритм оптимизации? Он лучше чем Adam?
Можешь хоть что-то пояснить? Мне вот вообще непонятно. 
Вот я знаю как создать и натренировать модель простую в Pytorch.  Что не так, раз тебя не устраивает этот фреймворк? Вот прям на пальцах - где есть место, которое ты можешь улучшить? 

Челендж на 2026
ArbNet #:
Ну ты сравнил 😁свою говно поделку использующую сторонние API с реальной разработкой причём высокотехнологичной.
То есть читать ты не умеешь?
Что высокотехнологического в том, что многие делают уже давно?
Ты опять про сторонние АПИ поешь почему. Ты что такое  Sagemaker  и для чего он - знаешь? С Pytorch  хотя бы работал?
Сегодня я закрыл свой последний сайт
big boy #:
Удачи. Я б посмотрел, как ИИ будет принимать платежи или отправлять декларации в налоговую )))
вообще без проблем)
Что может, что не может AI. Обсуждаем возможности, делимся опытом, спорим, но в рамках приличия.
melkozaur #:

Так это про ИИ. Можно конечно отдельный тред запилить для музыки и/или картинок/видео.

Про генерацию музыки - да, было интересно, я таким никогда не занимался. А вот про рокеров - уже не очень) 
Челендж на 2026
ArbNet #:
Существующие модели делаются с триллионами параметров и обучаются на многих языках с кучей не нужной по сути информацией, поэтому и весят не мало, поэтому и ресурсов жрут не хило и тд. Но можно же создать движок заточенный под меньшее количество параметров, с одним языком, под определённые задачи и тогда весить они будут намного меньше, и работать быстрее, и тд.
Для тех, кто в танке. То что ты описал - давно пройденный этап. Создание специализированных моделей - нифига не прорыв, это то что многие делают давно, для решения узкоспециализированных задач.  Именно в сложности новых моделей их преимущество. А есть еще путь - дообучение моделей на своих датасетах. Именоо обучение, не RAG. Даже была такая идея - сделать модель, заточенную про кластеризацию. Но имеено это и называется - детское баловство.
Где отдохнуть реальному IT айтишнику в этом году?
Vladimir SEO #:

Начинаем


Круть) молодец! 

1... 474849505152535455 ...832
Всего: 8319