Sly32

Рейтинг
385
Регистрация
29.03.2012
Должность
Software engineer
inkubus #:
отличная там атмосфера, откуда тебе знать, ты ж там не был и не бываешь... вон Sly32 отдыхает.
Вот вроде уже скоро 5 лет тут живу а все никак не могу привыкнуть после белки, что можно выйти из дома, за 15 минут доехать  до аэропорта, загрузиться в самолет, через два часа выпасть под пальмами на солнышко)) При этом только разок махнул паспортом перед входом в самолет и все. Ты вроде и в другой стране - другой язык, другое все, а как будто на автобусе скатался в другой край города))) Считаю, что мир должен быть устроен именно так)
А вот это бесит неимоверно - рассказад в теме про отдых очередной опыт. так обязательно приползет ч... удо с накрашенными ногтями и ьудет мне рассказывать как у меня все плохо... Это что - особенности менталитета? В нете прям кишит - ах, Неаполь - этож  дцть - грязь, воровстов, помойка. А на деле совершенно очаровательное место, уже снова хочу туда) 
Юлия #:
Тогда обычно еду на какое-нибудь море - воздухом подышать, позагорать.

нехаос, ты реально клоун))) Прям фраза дня - " на какое-нибудь море" 😂

А я вот сижу уже в офисе, завтракаю итальянскими круассанами и снова хочу в Италию. Но скорее всего теперь только осенью и в Грецию - тяжела жизнь гребца на галерах...  

Антоний Казанский #:
Определённые чем? ТЗ? Озвучьте ТЗ, тогда будет конкретика.
Ох, не выпускай джина из бутылки))), не упоминай про ТЗ с этим автором)) Он не знает что это такое. Точнее у него в голове что-то свое) А еще оучше - просмотри еще пару его тем - увидишь что о конкретике лучше не говорить)
Александр Воробьев #:
да: если вы не считаете мой ML движок самым крутым вы ни чего не понимаете и можете пользоваться только готовым
Ну все! тему можно закрывать! 🤣 твой ML-LLM-PHP_RUST_JS  фреймворк рвет все остальные в клочья, бенчмарки зашкаливают, конкуренты рыдают. Снес пайтон со своего мака - перехожу на твой, на нем можно делать невероятно крутые штуки. Антропиш нервно курит...
Ты сделал день! 😀
Александр Воробьев #:
ну тут и вопрос мне и изначально тема не про LLM.  Соответственно и речь про веб фреймворк. :)  
Про LLM это было только к слову. А так то да. Сейчас городить дичь, когда на фронте создаются таблицы БД( все мы знаем про что я)) никто в здравом уме не будет. Почитал, поизучал - именно Fastapi ближе всего к чистой модулбной архитектуре - все зависит от разработчика
Vladimir SEO #:
я думал там видно на скрине( коста рика надпись). Вообще я возле городка Quepos - нац парк Мануель антонио
Если не секрет - сколько обходится примерно такая поездка на человека?
Александр Воробьев #:
 Мне кажется это везде такой подход используется. Возможно с вариациями, но в целом.   Мне кажется это только если кто то на конкретном проекте или прототипе иначе подходит к вопросу.

Согласен, де факто стандарт. Но не для ллм) чтобы агент следовал этому, приходится обучать, иначе пихает все в кучу

ArbNet , появилась идея. Фрейворк свой ты все равно не допилишь, давай изменим задачу.
AI logs analyzer -  умный анализатор логов.

Суть  идеи - создается простая модель класса nanoGPT. То есть по сути - трансформер. Обучается на реальных логах. 

умеет:

  • продолжать лог
  • предсказывать следующую строку
  • выявлять аномальные последовательности
  • объяснять ошибки.

На форуме часто возникают вопросы по анализу логов. Вот шанс показать свои знания и сделать полезный проект. Готовые ЛЛМ не используем, модель должна быть создана и обучена с нуля на реальных данных.  Как ты это делаешь, что используешь - без разницы, Раст, плюсы или пайтон.
Это не такой долгоиграющий проект , примерно на месяц, если с запасом. В итоге отдаем свои модели в общий доступ, народ тестирует, сравнивает.

Как тебе идея - готов? А то от тебя слов много. давай к делу? Я готов поучаствовать, все желающие тоже приглашаются.
ArbNet #:
Во-первых он написан на C++ да это скорость, но она сопряжена с риском сбоев, утечек памяти и тд. и тп. хотя у него есть возможность использовать графический процессор, если его использовать по скорости он примерно будет почти как Rust, но требователен к памяти. Во-вторых, пайтон это накладные расходы для скорости, преобразование типов переменных и прочее, замедление не хилое, для полезной работы остаются 10-20% времени. В-третьих, даже если его использовать через обёртку tch-rs в самом Rust, то первый пункт останется(риски утечек памяти, хотя в современных версиях это поубавилось, а мы помним как раньше чаты висли, но всё равно C++ остаётся не безопасным). Ну и тяжелый он, 2-3 гига вроде если с CUDA.
Совет - прежде чем лезть спорить в темы, где ты - ноль, хотя бы погугли или спроси нейросеть, чтобы вот так с размаху не сесть в лужу. По пунктам:
ArbNet #:
скорость, но она сопряжена с риском сбоев, утечек памяти и тд.

риск  ≠ утечка. Все проблемы плюсов известы, и в конкретно Pytorch нет никаких утечек, а наоборот, максимальная оптимизация по памяти

ArbNet #:
Во-вторых, пайтон это накладные расходы для скорости, преобразование типов переменных и прочее, замедление не хилое, для полезной работы остаются 10-20% времени.

Полная чушь. Там пайтон - только удобная оболочка, все считается в С++, на пайтон может 5%  процентов 

ArbNet #:
В-третьих, даже если его использовать через обёртку tch-rs в самом Rust, то первый пункт останется(риски утечек памяти

Почитай, что решает  tch-rs и для чего он.

ArbNet #:
Ну и тяжелый он, 2-3 гига вроде если с CUDA.

Вот именно - с CUDA. И Rust  здесь никак не помогает - все равно нужно использовать  CUDA.
По итогу - никакого прироста не даст переход на Rust.  Из полезных кейсов, что мне известны - это токенизация на Rust. Hugging Face ее давно используют у себя. 
Все остальное - пустые слова. Pytorch - известный продукт, над которым работают большие команды. В этом его сила. Тот же JAX -  хорош, но нет такого же коммьюнити.

Главное что я понял - ты вообще не понимаешь математики построения моделей. И поэтому не понимаешь что Раст никакого волшебства не даст. Более того, все это опробовано давно. 
Ты опять паяешь транзисторы там, где надо просто сложить 2+2.

ArbNet #:
У меня задача иная, придумать лучшие подходы и сделать лучше чем у других.

Нет у тебя такой задачи, для этого знания нужны. И впервые слышу чтоб кладовщика просили улучшить ЛЛМ))

Александр Воробьев #:
Я имею очень поверхостное представление об обсуждаемой вами тематики. правильно ли я понимаю, если проводить аналогии с веб разработкой: это [создание своего фреймворка в этой области] как при задаче создать новостной сайт начать с создания своего вебсервера?
Абсолютно 🤣
Всего: 7915