Sly32

Совет - прежде чем лезть спорить в темы, где ты - ноль, хотя бы погугли или спроси нейросеть, чтобы вот так с размаху не сесть в лужу. По пунктам:

риск  ≠ утечка. Все проблемы плюсов известы, и в конкретно Pytorch нет никаких утечек, а наоборот, максимальная оптимизация по памяти

Полная чушь. Там пайтон - только удобная оболочка, все считается в С++, на пайтон может 5%  процентов 

Почитай, что решает  tch-rs и для чего он.

Вот именно - с CUDA. И Rust  здесь никак не помогает - все равно нужно использовать  CUDA.
По итогу - никакого прироста не даст переход на Rust.  Из полезных кейсов, что мне известны - это токенизация на Rust. Hugging Face ее давно используют у себя. 
Все остальное - пустые слова. Pytorch - известный продукт, над которым работают большие команды. В этом его сила. Тот же JAX -  хорош, но нет такого же коммьюнити.

Главное что я понял - ты вообще не понимаешь математики построения моделей. И поэтому не понимаешь что Раст никакого волшебства не даст. Более того, все это опробовано давно. 
Ты опять паяешь транзисторы там, где надо просто сложить 2+2.

Нет у тебя такой задачи, для этого знания нужны. И впервые слышу чтоб кладовщика просили улучшить ЛЛМ))

Абсолютно 🤣

Естетсвенно, я пишу только о том, что знаю. 
С какими ты работал?
Что именно в них тебе не подходит? 

У тебя задача - бесконечно трепаться на форумах, не более. Какие иные подходы есть, расскажешь? Ты по другому считаешь производные и градиенты? придумал новый способ перераспределять веса? Придумал новый алгоритм оптимизации? Он лучше чем Adam?
Можешь хоть что-то пояснить? Мне вот вообще непонятно. 
Вот я знаю как создать и натренировать модель простую в Pytorch.  Что не так, раз тебя не устраивает этот фреймворк? Вот прям на пальцах - где есть место, которое ты можешь улучшить? 

То есть читать ты не умеешь?
Что высокотехнологического в том, что многие делают уже давно?
Ты опять про сторонние АПИ поешь почему. Ты что такое  Sagemaker  и для чего он - знаешь? С Pytorch  хотя бы работал?

вообще без проблем)

Про генерацию музыки - да, было интересно, я таким никогда не занимался. А вот про рокеров - уже не очень) 

Для тех, кто в танке. То что ты описал - давно пройденный этап. Создание специализированных моделей - нифига не прорыв, это то что многие делают давно, для решения узкоспециализированных задач.  Именно в сложности новых моделей их преимущество. А есть еще путь - дообучение моделей на своих датасетах. Именоо обучение, не RAG. Даже была такая идея - сделать модель, заточенную про кластеризацию. Но имеено это и называется - детское баловство.

Круть) молодец! 

Так, господа, давайте дальше по теме - есть же про музыку топики! Каюсь сам виноват, но дальше давайте про ИИ))) 

И очень советую критически относится к некоторым сказочникам тут, они не понимаю как это работает, но вещают про агентов, подписки... Лучше прямо у ИИ такие вещи спрашивать. А тут  об  интересном говорим, о реальном опыте. 

Хммм... Так вообще то давно модульный подход известен. Я всегда его использую. Потом при необходимости легко вообще уйти в микросервисы.

Смешное заявление. И вообще не в тему.
Я например изначально пишу так, чтобы перейти на свой сервис можно было без проблем. Более того изначально у меня были отдельно RAG-service  и AI-service.  Мне  в принципе все равно с чем работать. Через адаптер. Изначально  работал  с OpenAI и Ollama,  которая висит в отдельном контейнере. Потом кдключил Антропик. Сейчас вот думаю еще и Дипсик добавить.  И давать пользователю выбор - хочешь медленно и бесплатно - юзай  Олламу, Хочешь качесвто - палти и тебе самые современные модели доступны. 

А еще можешь построить свой космолет и улететь на Марс быстрее  Маска... Ты хоть понимаешь, что здесь не все иканамисты?  И многие немного понимают, что это такое - создать свою модель и сколько стоить будет?