Челендж на 2026

Сегодня вычитал ну очень в тему:

Спорят два разработчика:
- Filk быстрее
- Нет, Rapira быстрее
- А нагрузочные тесты есть?
- Ты что, хочешь испортить дискуссию фактами?

Ни кто ни когда не требует все перечислять. Обычно, когда люди дискутируют и у них есть для этого знания, а не холиварят: приводят самые яркие проблемы. Чтоб можно было осудить конкретику.

Тут есть важный нюанс: есть то, что можно обсуждать. Ну давай будем каждый просто рассказывать: Вася почти сделал мегакуртой А, Вася почти сделал мегакуртой B.....  Вспомни, на другом форуме где мы пересекались, часто возникают темы, где кто то приходит с идеей и не понимает, почему ни кто не бежит ее реализовывать. Часто пишут "идея без реализации вообще ни чего не стоит"....  У Слая реализовано, лично у меня нет знаний для оценки уровня. Да и подходы могут быть разные, на мой взгляд (как я понял) тебе важны шашечки (это я про то что когда увидел вспенил начало двухтысячных), а я смотрел там на "ехать" - мне вообще пофиг как внешне форум выглядит.

И обрати внимание: именно ты опять начинаешь на личности переходить.....  Уж раз не в терпеж: так попробуй хотя бы аргументировать.

[4/12] Завершается четверты месяц челенджа.

Работаю над шаблонизатором. Состояние на момент сообщения здесь

На данный момент вычищаю от экспериментов, обмазываю тестами,  и дальше уже можно будет двигаться. На данный момент реализованы простейшие конструкции if... elseif...else , foreach... В общем базу подготовлю - буду уже насыщать функционалом.  В этом месяце сделано мало, хотя и старался хотя бы полчаса в день но уделять, следующий тоже будет похоже не слишком продуктивный....  Но тем не менее не заморожен...

Ой ну не прибедняйся - ты вполне в состоянии оценить с твоими компетенциями. Провда  особо и нечего оценивать - публично я пока не могу дать в руки всем этот функционал, а без настройки своего ИИ-аватара - сложно понять идеи. В целом форум был задуман исключительно как аватар для отработки RAG  систем. Если вдруг из этого что-то вырастет - вряд ли он останется на сервисе в таком виде. 

Спор с Арбнет иногда приводит к неожиданным результатам. Захотелось на практике попробовать  создать и натренировать свою модель, узко специализированную и понять - есть ли в этом смысл. Недостатки и достоинства мы примерно знаем. Главная идея - делегировать узкие задачи своей модели и не тратить на это токены. 

Дальше можно не читать, кому эта тема неинтересна. И вопрос к владельцам топика - Александру и Алексею - вы не против моих постов тут на эту тему? По факту это тоже челлендж. Неохота плодить темы и тут уже есть контекст, полезный для понимания разговора. Тема про ИИ слишком широкая, к тому же загажена изрядно флудерами.

Суть идеи - создать свою LLM, которая сможет работать на ограниченных ресурсах с приемлемым результатом. 

Я не претендую на оригинальность. Поэтому просто взял существующий фреймворк для создания модели. Написал для него удобный UI,  используя Streamlit. Язык разработки - Python. Ч

Возможности:
- Настройка типа и размера модели. То есть не нужно копаться в коде - все вынесено на страницу управления - размер, контеуст, слои, эпохи...

- Возможность как тренировки модели с нуля, так и дообучения на любом этапе.

- Подготовка датасета: можно парсить данные с отсканированных документов, пока что есть поддержка jpg/jpeg/png,  Можно выбирать бесплатный вариант - Tessaract или более крутой - GPT-4 Vision, но он потребует ваш апи ключ. Если знаете варианты - говорить, добавлю

- Обучение идет в фоне. то есть сам фреймворк  не будет тратить ресурсы
- можно выбирать режимы обучения - на обычном процессоре или на GPU

- Встренный режим работы с млделью - можно сразу попробовать пообщаться с ней. Храняться генерации модели - можно дообучать с любого уровня

Если найдутся желающие попробовать - опубликую репозиторий, берите пользуйтесь. Бесплатно.

Для себя выбрал  сейчас 2  каталога - Общая химия(школьная программа)  и  Python. C первой приходится долго возиться-  нужно аккуратно разгребать сканы, править формулы, с пайтоном проще. Но обучать модел можно чему угодно - это обычный трансформер.

И сразу первые результаты и понимание - нужно много данных. 
Интересно?

Давай делай, посмотрим, что получится.

ЗЫ. Мне конечно не интересно на готовом фреймворке, да ещё и на Python. Такое с помощью ИИ как говорится любой дурак сделает.

Сразу 2 почему. Но давай подробнее. У тебя какая цель - практическая или теоретическая? Ты хочешь создать свою модель, которая будет работать или ты просто хочешь процесс ражи процесса?
Что тебя не устраивает в пайтон, кроме того, что ты его не знаешь?
Я уже приводил примеры нейросети на базовых командах - это реально, но очень затратно по времени. Зачкм мне заново реализовавать механизм сложения матриц?  Это математика, я все равно там ничего нового не придумаю. А время убью.
Вот тебе результат первого этапа обучения- на исходных данных в 37 Килобайт. модел уже весит 200 Мегабайт и она все еще крайне слабая. Я попробовал создать mini - получилось 37Мегабайт но выдает полный бред.
Теперь взял такой форматЧто скажешь - что изменить посоветовал бы?

вот этап тренировки  после 10 минут

Epoch 1/5:   9%| | 499/5759 [12:14<1:15:44,  1.16it/s, loss=2.5536, ppl=12.85, lr=3.💾 save_checkpoint: подготовка данных...
💾 save_checkpoint: сохранение в checkpoints/python_model_step_500.pt...
✓ save_checkpoint: файл сохранен (220.6 MB)
Epoch 1/5:  10%| | 599/5759 [13:40<1:15:20,  1.14it/s, loss=2.4275, ppl=11.33, lr=3.

То есть еще все очень плохо. Жаль не сохранил ответ старой модели.
Для теста возьму стандартеые вопросы по пайтону и буду их задавать генератору

Есть какие-то советы из того, что ты уже изучил.  от тебя интересует оптимизация обучения и размеров - вроде как именно это тебя не устраивало больще всего.

Размеры я привел, если нужны еще какие-то параметры - спрашивай

Я не против.

Вообще у меня тоже есть мысли про узкоспециализированную модель. Хотел копать в этом плане. Связанное с моим СааС, но там возможно мне даже математический/статистический подход больше подойдет. Но в ТОДо давно висит задача, в которой своя модель вроде как может быть решением.

ну так излагай идею тут - может общими усилиями найдем  хорошее решение. На моем фреймворке кстати и питон особо знать не надо - по факту только установить. А все параметры настраиваются в UI. И без разницы какие данные моделировать, хоть просто таблицу умножения

Не называй свой код фреймворком.

Попробуй примитивный пример сделать. Создай данные для обучения генерации HTML.

Например:

абзац <p>[text]<p>

блок <div>[text]</div>

и тд.

Несколько примеров разметки. А потом попроси создать что-то. Справится?