У тебя в 429 ошибку не вываливает время от времени на ультре?
Я так понимаю, ты тоже не по полной цене берешь. Я взял у какого-то барыги ультру позавчера тоже, он дал мне личный корпоративный аккаунт. Как и у тебя, я даже близко к лимитам не смог приблизиться, но у меня периодически в 429 ошибку вываливает чуть ли не по пару часов, что типа система перегружена. Открываешь посмотреть лимиты, там все до отвала полосочки.
Неа, поясни, я юзаю просто - закончилось бабло - закинул новое =)))
Там же написано input, почему исходящие?
Это не тебе был коммент. А вообще все просто. Входящие- твой запрос, исходящие - сгенеренный ответ, запросы можно кэшировать. Как уже упоминал, для модели 4-nano. Полмиллиона токенов обходятся
в 5-7 центов. Даже эта модель сильнее всяких джемини дикпиков
Ну вот так. ) Потому что это то, что принимает.
Слай, ну это же профонация с данными. )
---
Чтобы кэширование приносило пользу, а не проблемы с устаревшими данными, его нужно применять стратегически.
Шаг 1: Определите, что кэшировать Не всё нужно кэшировать. Идеальные кандидаты — это данные, которые часто запрашиваются, но редко меняются, и генерация которых требует больших ресурсов (тяжелые SQL-запросы к БД, агрегированные отчеты, карточки товаров в магазине, конфигурации).
Про Джеминай и Чат, ну давай сравним результат ответа на одинаковых промптах. Готов? )
Конечно, нет. Кроме того, на такой товар действует гарантия магазина, если мы в контексте ВБ/Озон продолжаем. Приколы, что Айфоны в России появляются раньше старта оф. продаж уже никого не удивляют. В Россию завозят, как правило KZ/ru. Сам сможешь понять, почему и зачем? )
Этой инфе 2 года. Передовые модели таки не 7 центров стоят. Ну и ответ ровно по сабжу, без доп. разглагольствований. )
P.S: способ платить раз в 5 меньше, чем через Вертекс, тоже интересует. )
