Нет, ты ничего не понял. Это именно внутренний инструмент. AWS используется для деплоя, и с доступом только для сотрудников.
Ты неправильно пытаешься использовать инструменты, TF тебе не нужен для этого. Да и не сможешь ты натренить модель по своему фреймворку самостоятельно. Ты не понимаешь, как это работает. Ты хочешь сам сделать векторный поиск? Сам определишь коэффициенты? Построишь градиенты? На домашнем компе все это не обсчитаешь. В Тензорфлоу можно построить несложную модель, например как я написал планировщика занятий исходя из часов и оценок. Но не советчика по фреймворку.Я уже говорил, для этого тебе нужна подписка на модели от OpenAI+ RAG. В RAG ты токенизируешь все свои файлы. Но чтобы это получилось, должна быть четкая структура, культура кода, линтеринг, тесты. Иначе пустая трата времени. Я например, прежде чем отдать код на рефакторинг, сначала прогоняю его через линтеры. После этого гораздо лучше результаты.
да, и ответ был выше. Но это самая скучная часть - банальный REST API реализованный в AWS. Но еще раз - в настройках указываешь путь к репо, в данном случае локальный, но можно и через гит работать. Далее указывается файл или директорий, с которым ты хочешь работать. ранишь приложение, Оно берет модель, идет в твой репо, забирает их в промпт( промпт тоже можно заранее создать как шаблон)), отправляет в сервис, как ты говоришь, в нейросеть. Полученный ответ пишется на место исходного файла. Потом в гите ты смотришь изменения и применяешь те, которые устраивают и делаешь коммит. Если что-то нужно поподробнее обьяснить - спрашивай.
Вот из за того что ты не знаешь правильной терминологии и невозможно понять что ты спрашиваешь. АПИ это апи. По факту архитектура проекта. то есть у тебя например есть что то типа localhost/refactor. Под капотом там POST запрос, например, где в body лежит путь к файлу: {"path": "path/to file"} После запроса сервис сам получает все токены доступа к HF, шаблон промпта, сам файл, и отправляет запрос уже через апи сарвиса/модели. Ну и ответ потом пишет. В Пайтоне это очень простой код.
Следуя Вашей логике тогда и php "многопоточный", тоже ведь может быть несколько запросов(сессий) и соответственно несколько процессов(потоков)
Если каждая сессия запускается в отдельном потоке, то да - это многопоточное использование, когда вычисления выполняются парралально или псевдопаралльельно, как в пайтоне. Я давно не интересуюсь пхп, могу рассказать как это работает в пайтоне или Джава.
Используются модели, без обучения нашего. Я пробовал- mistralai/Mistral-Nemo-Instruct-2407
- meta-llama/Llama-3.2-1B-Instruct-QLORA_INT4_EO8
- gpt-omni/mini-omni2
Говорят последняя самая крутая, но мне нравится что отдает мистралаи.Про данные я уже писал - код при помощи RAG
Из того что я вижу это
huggingface,openai, langchain, tiktoken ну и соответственно зависимости.
Уточни вопрос, насколько я помню у тебя свое понимание что-такое АПИ. Если в классическом понимании API – Application Programming Interface, - интерфейс обмена данными, то через самый банальный REST API, с авторизацией по токену, развернутый в AWS API Gateway. Под капотом requests и httpx.
Ну так же нужно еще и уметь применить то, что чат подсказал.
Я вот сейчас тестирую внутренний инструмент и немножко волосы шевелятся от того, что он умеет. Выбираешь модель, создаешь шаблон промпта, где прописываешь требования к коду, например рефакторинг, поиск ошибок, написание тестов. Указываешь репозиторий, запускаешь и он в твою папку с кодом кладет исправленную версию, пишет для нее тесты и запускает их. Остается только принять изменения и закоммитать. Погромисты больше не нужны. По крайней мере уровня джуна-мидла.
Каждый сеанс (подключение) выполняется в одном потоке
С Вашей же ссылки
"A single core is usually used to service the commands issued from one session."
Ну а как сессия должна еще подключаться? Естественно в одном потоке. Но разные сессийи будут работать в разных потоках
Один запрос и никто не может обрабатывать на разных ядрах, а вот распарралелить вычисления разве не умеет? Вроде мне тут рассказывали что в пхп давно завезли многопоточность?
это были условные цифры, ну ты же должен был это понять) 10 минут вместо часа и тд. Идея в том чтоб убрать всю рутину.
Это скорее я не понял, точнее не уточнил. Но в данном случае это пока не важно. Сейчас я хочу понять логику первого пункта и как его реализовать. То есть счас ты тратишь на это 10 часов, будешь час. Убрать всю рутину в автоматизацию
Это не я. Это нейросеть пока еще только высказала суждения о дальнейших шагах. Как пример того, что она поняла что я хочу и предложила варианты.
Получил доступ к куче моделей, пока изучаю - можгл что то попробовать заимплементить)
