По теме есть что респонсить? Коучить в русском лэнгвидже го на лингвистический форум. Я не реквестал тут уроки русского.
Вот зачем ты мне приводишь ответы чата? Ты вообще понимаешь обьем работы? Понимаешь, как тебе нужно хранить данные для обучения? Как разбивать код на токены? У меня плоская модель с 5-ю входными параметрами и одним исходящим на 200-х примерах на core-7 с 32 гигами оперативы работает примерно 20 секунд.
Что такое декартово множество знаешь? Вот и попробуй свой фреймфорк разбить на токены и скормить его нейросети. Гугол для своих вычислительных центров заказывает 5 ядерных реакторов, а ты хочешь дома тренить. Да блин Sagemaker в Амазоне стоит 250 баксов в час, с GPU, как думаешь, почему?
Еще раз говорю - реально может сработать готовая модель + RAG - почитай как это работает.
Не спеши))) В процессе. Этот флуд мне например помогает понять некоторые вещи. Не доходят руки до диаграммы последовательности, чтобы ты подтвердил, что этап включает в себя работы определенные
Нет, ты ничего не понял. Это именно внутренний инструмент. AWS используется для деплоя, и с доступом только для сотрудников.
Ты неправильно пытаешься использовать инструменты, TF тебе не нужен для этого. Да и не сможешь ты натренить модель по своему фреймворку самостоятельно. Ты не понимаешь, как это работает. Ты хочешь сам сделать векторный поиск? Сам определишь коэффициенты? Построишь градиенты? На домашнем компе все это не обсчитаешь. В Тензорфлоу можно построить несложную модель, например как я написал планировщика занятий исходя из часов и оценок. Но не советчика по фреймворку.Я уже говорил, для этого тебе нужна подписка на модели от OpenAI+ RAG. В RAG ты токенизируешь все свои файлы. Но чтобы это получилось, должна быть четкая структура, культура кода, линтеринг, тесты. Иначе пустая трата времени. Я например, прежде чем отдать код на рефакторинг, сначала прогоняю его через линтеры. После этого гораздо лучше результаты.
да, и ответ был выше. Но это самая скучная часть - банальный REST API реализованный в AWS. Но еще раз - в настройках указываешь путь к репо, в данном случае локальный, но можно и через гит работать. Далее указывается файл или директорий, с которым ты хочешь работать. ранишь приложение, Оно берет модель, идет в твой репо, забирает их в промпт( промпт тоже можно заранее создать как шаблон)), отправляет в сервис, как ты говоришь, в нейросеть. Полученный ответ пишется на место исходного файла. Потом в гите ты смотришь изменения и применяешь те, которые устраивают и делаешь коммит. Если что-то нужно поподробнее обьяснить - спрашивай.
Вот из за того что ты не знаешь правильной терминологии и невозможно понять что ты спрашиваешь. АПИ это апи. По факту архитектура проекта. то есть у тебя например есть что то типа localhost/refactor. Под капотом там POST запрос, например, где в body лежит путь к файлу: {"path": "path/to file"} После запроса сервис сам получает все токены доступа к HF, шаблон промпта, сам файл, и отправляет запрос уже через апи сарвиса/модели. Ну и ответ потом пишет. В Пайтоне это очень простой код.
Следуя Вашей логике тогда и php "многопоточный", тоже ведь может быть несколько запросов(сессий) и соответственно несколько процессов(потоков)
Если каждая сессия запускается в отдельном потоке, то да - это многопоточное использование, когда вычисления выполняются парралально или псевдопаралльельно, как в пайтоне. Я давно не интересуюсь пхп, могу рассказать как это работает в пайтоне или Джава.
Используются модели, без обучения нашего. Я пробовал- mistralai/Mistral-Nemo-Instruct-2407
- meta-llama/Llama-3.2-1B-Instruct-QLORA_INT4_EO8
- gpt-omni/mini-omni2
Говорят последняя самая крутая, но мне нравится что отдает мистралаи.Про данные я уже писал - код при помощи RAG
Из того что я вижу это
huggingface,openai, langchain, tiktoken ну и соответственно зависимости.
Уточни вопрос, насколько я помню у тебя свое понимание что-такое АПИ. Если в классическом понимании API – Application Programming Interface, - интерфейс обмена данными, то через самый банальный REST API, с авторизацией по токену, развернутый в AWS API Gateway. Под капотом requests и httpx.
Ну так же нужно еще и уметь применить то, что чат подсказал.
Я вот сейчас тестирую внутренний инструмент и немножко волосы шевелятся от того, что он умеет. Выбираешь модель, создаешь шаблон промпта, где прописываешь требования к коду, например рефакторинг, поиск ошибок, написание тестов. Указываешь репозиторий, запускаешь и он в твою папку с кодом кладет исправленную версию, пишет для нее тесты и запускает их. Остается только принять изменения и закоммитать. Погромисты больше не нужны. По крайней мере уровня джуна-мидла.
Каждый сеанс (подключение) выполняется в одном потоке
С Вашей же ссылки
"A single core is usually used to service the commands issued from one session."
Ну а как сессия должна еще подключаться? Естественно в одном потоке. Но разные сессийи будут работать в разных потоках
Один запрос и никто не может обрабатывать на разных ядрах, а вот распарралелить вычисления разве не умеет? Вроде мне тут рассказывали что в пхп давно завезли многопоточность?
