Что еще классно - автоматически подтягивается стоимость токенов и моно контролировать правильно ли ты прописал модели.
Скоро проверю вообще возможности биллинга и тогда подробнее опишу возможности.
Итак практический опыт, кому интерсно, развертывания liteLLM.
В чем разница с OpenRouter?
То есть по факту парой команд поднимается готовый прокси сервер с веб интерфейсом, управлением клюячами, моделями, билингом, командами, агентами... во все я даже не успел посмотреть.Готовый докер-контейнер, правда довольно требовательный к ресурсам. Хотя в рабочем состоянии занимает примерно 600Мб, для того чтобы поднять нужно полтора Гига памяти. Минимальный контейнер у меня смог стартовать с 1.1Гб, для тестов пойдет но для реального использования думаю нужно от 2Гб ориентироваться.настройка - элементарная. Сделал конфиг с моделями, прописал в энв файле ключи, сбилдил и поднял! Требует еще Постгрес в качестве БД, но нагрузка там небольшая, я использовал уже готовый свой образ с БД для работы приложения с постгрес, просто добавил туда еще одну базу. Она автоматически создатся, когда запускаешь приложение. Нет вру - написал еще один контейнер с одной командой, чтобы руками не лазить каждый раз. При каждом рестарте системы провеяет наличие и если надо создает, нет - тушит себя.главная красота - один интерфейс под всех! не нужно думать - а как там у антропиков или дипсиков. Просто указываешь ключ, который выдается litellm, название модели из конфига - можно вообще написать удобные алиасы. и отправляешь запрос. Внутри саммой llm - есть учет токенов и она автоматически подтягивает стоимость моделей. Я добавил свежачок от опенАИ и система сразу правильно прописала стоимость для
gpt-5.6-sol(кстати кто-нибудь уже поюзал?) Для токенов можно поставить лимиты, как я понял и если баланс нулевой - токен прекращает работать.
Пока прям класс - очень удобная система.Это к слову тем критиканам, что я пишу в этой теме про всякие теоретические новости - ну вот вам практический кейс. Я прямо сейчас могу поднять инстанс на своем гугловском или амазоновском облаке, прописать апишные ключи к провайдерам и преспокойно перепродавать доступ. Сделать небольшую наценку на токены и все. Пользуйтесь)
😂😂😂 Отставить истерики! Ни одна компания от моих действий не пострадала. Могу даже справку представить официальную 😎Теперь последний пост на тему сеанс черной магии и ее разоблачение. Основываясь только на полученных от участника дискусии данных, без искажений и передергиваний - все можете проверить сами. Повторятся на счет уже изученного не буду.
Обратите внимание: на сайте указаны модели:
При этом запрос к моделям возвращает ответ:
Может я старый и слепой и не вижу чего-то? Давайте развернем в читаемый вид:
{ "siteUserId":........, "aiProxyApiKeyId":..........., "data": [ { "type": "model", "id": "claude-opus-4-6", "display_name": "Claude Opus 4.6", "created_at": "2026-05-20T15:35:06.938Z" }, { "type": "model", "id": "claude-opus-4-7", "display_name": "Claude Opus 4.7", "created_at": "2026-05-20T15:35:06.938Z" }, { "type": "model", "id": "claude-sonnet-4-6", "display_name": "Claude Sonnet 4.6", "created_at": "2026-05-20T15:35:06.938Z" } ], "has_more": false, "first_id": "claude-opus-4-6", "last_id": "claude-sonnet-4-6"}
Кстати, обратил внимание, что даты не совпадают с оригинальным ответом:
"type": "model", "id": "claude-opus-4-6", "display_name": "Claude Opus 4.6", "created_at": "2026-02-04T00:00:00Z",
Ну и последнее - на прямой вопрос ответ:
Кто нибудь видит в изначальном списке Хокку? Я - нет.Еще раз - я не говорю что они жулики и шарлатаны. Но лично меня такое несоответствие смущает. На этом все. Разоблачение закончено.
А вот интересную тему насчет опенРоутер/litellm предлагаю продолжить - это может быть интересно в техническом плане. Может кто захочет замутить свой прокси сервер. Помогу 😀
Т.е. ты Сергей про е-ком говоришь, покажи пруфы по проекту (где он доход скринит), но нам тебе поверить на слово, что работодатель твой сказал: Чуваки, вот вам АПИ платный (да, ты неоднократно упоминал ОПУС дорогой). Мы за всё платим. Делайте свои пет проекты для СЕО и обучения. нам не жалко. Тратьте корпоративное бало на свои хотелки, мы заплатим. Так?) или снова начнешь вилять?
При чем тут правила Антропиков вообще? Они без всяких прокси блокируют такие запросы! Ты вообще хоть читал о чем дискуссия? Ну так для начала попробуй!
И когда мы вдруг перешли на обсуждение того, на что я трачу токены? Зависть?
и опять какие то досужие выводы. Нам работодатель дает лимиты на изучение и свои проектыи отдельно есть проектный доступ. Опять ты сел в лужу со своим желанеи прицепится
я так понимаю, этот ответ будет только в том случае если у меня создан там персональный аккаунт. Не так ли?
нет такого маршрута (и с другими моделями тоже)
curl https://app.purpleschool.ru/api-v2/public/ai-proxy/anthropic/v1/models \ -H "x-api-key: $PURPLESCHOOL_TOKEN" \ -H "anthropic-version: 2023-06-01"
curl https://app.purpleschool.ru/api-v2/public/ai-proxy/anthropic/v1/models/claude-opus-4-8 \ -H "x-api-key: $PURPLESCHOOL_TOKEN" \ -H "anthropic-version: 2023-06-01"
А я не знаю, я ведь исхожу из твоих ответов. Вот давай сделай вызов /chat/completions и покажи полностью ответ? может он такой же как в настоящем клоде. Что до моделей - ну может рещили и так сойдет - многие ли знают какой должен быть настоящий ответ?
или даже интереснее - сделай такой запрос, только проставь урл школы
curl https://api.anthropic.com/v1/models/claude-opus-4-8 \ -H "x-api-key: sk-ant-api***********" \ -H "anthropic-version: 2023-06-01"{"type":"model","id":"claude-opus-4-8","display_name":"Claude Opus 4.8","created_at":"2026-05-28T00:00:00Z","max_input_tokens":1000000,"max_tokens":128000,"capabilities":{"batch":{"supported":true},"citations":{"supported":true},"code_execution":{"supported":true},"context_management":{"supported":true,"clear_tool_uses_20250919":{"supported":true},"clear_thinking_20251015":{"supported":true},"compact_20260112":{"supported":true}},"effort":{"supported":true,"low":{"supported":true},"medium":{"supported":true},"high":{"supported":true},"xhigh":{"supported":true},"max":{"supported":true}},"image_input":{"supported":true},"pdf_input":{"supported":true},"structured_outputs":{"supported":true},"thinking":{"supported":true,"types":{"enabled":{"supported":false},"adaptive":{"supported":true}}}}}%
cо своим ключом и посмотрим ответ. Если такой же - все честно, обвинения сняты)
Я вроде предролагал, что с технарями общаюсь а тут уже не пойми что. Ну какие баны, о чем ты вообще. Это банальный прокси сервер. Запрсо в антропик идет от него а не от пользователя из РФ. так что Антропику абсолютно все равно в данном случае - он получил запрос, обработал и отдал ответ вместе со служебной информацией. Баны могут быть за аномалии, лимиты, огромное количество параллельеых запростов по одному ключу/аккаунту - это вообще к делу не относится. Прокси ничего не стоит отдать честный ответ. Скрывать есть только две причины- завысить количество использукмых токенов
- скрыть реальную модель, к которой был сделан запрос и подменить ее более дешевой. Иных причин не вижу просто.
Так что вот это
не имеет смысла примешивать.
просто перестать платить нечистым на руку продаванам.
Извини, но это вообще идиотизм. Как в теме про бенз про то что евро3 продают как евро5Антропик - публичная компания, которая хочет на IPO - такие обманы не прокатят. Да и смысла не имеет. Там оценивается качество ответов
я тебя спросил - реально ли ты считаешь что в плане ИИ экономисту можно доверять больше чем мне. ты с обидой за бензин зашел. Заметь - тут я стараюсь обсуждать только технические моменты
а я и пытаюсь тебе это обьяснить. Знаешь почему думаю, что имею на это право? Мы - сертифицированный партнер Антропика, у меня куча сертификатов от него. И если я пытаюсь что-то тут рассказать - исключительно чтоб помочь - никакой личной выгоды для меня в этом нет. Но надеоело продираться через флуд от тех, кто понятия не имеет о реальных вещах, не хотите - не надо. Я вижу откровенный бред, который выдается за истину, но уже даже перестал поправлять...
Смешно. Антропик тут - конечный продавец, официально представляет свои инструменты для работы.
Понятно. И ты скатился туда же. Жаль.
Почему? Можешь обьяснить. Для меня это выглядит так как если бы хостер продавал тебе сервер с одними параметрами а на самом деле отдавал в 2 раза меньше.В чем секрет в плане используемых моделей? если я реселлер антропика - я покажу реальный ответ, в чем смысл его прятать, не понимаю. Я выступаю как прокси - что мне пришло - то я отдам. В чате на моем сервисе так и происходит. Я могу сделать например наценку на токены в 30% и честно показать - сколько токенов пришло и за что я взял деньги. Тот же Openrouter так и делает.А тут я вижу подмену и меня это смущает. Только и всего. Польша тут не при чем.
Вот реально у нас разный менталитет
