RU ▾
Получить API-ключ
Гид по ценам на API без цензуры LLM

Как работает тарификация API на основе токенов: простое объяснение

Модель ценообразования OpenAI API — оплата за токен: вы оплачиваете токены, которые отправляете, и токены, которые возвращает модель, по двум разным ставкам. На этой странице простым языком объясняется каждая часть и показано, как наш OpenAI-совместимый API применяет ту же идею.

Обновлено

Маленькие кубики, втекающие в счётчик, и большие кубики, вытекающие наружу, иллюстрируют ценообразование на входные и выходные токены
Ключевые моменты
  • Вы платите за каждый токен: одна ставка за ввод и более высокая за вывод.
  • История переписки отправляется снова на каждом шаге, поэтому длинные чаты обходятся дороже за сообщение, чем короткие.
  • Лимиты запросов ограничивают скорость отправки запросов. Они не меняют цену за токен.
  • Наш API берёт $0,15 и $0,50 за 1 млн токенов из предоплаченного баланса и не связан ни с одним поставщиком.

Модель в одном абзаце

API языковых моделей обычно продаются по мере использования, а не по количеству пользователей. Ваша программа отправляет текст, сервис подсчитывает, сколько токенов вошло и вышло, и счёт формируется как произведение этих количеств на цену за миллион токенов. Ввод и вывод имеют разные цены. Разные модели имеют разные цены. Сверху накладываются несколько дополнительных правил: лимиты запросов, контекстное окно и способ оплаты (предоплата или по счёту). Это вся модель ценообразования, а остальная часть этой страницы раскрывает каждый её элемент.

Сначала уточнение. Когда люди вводят эту фразу в поисковую строку, они часто имеют в виду собственный прайс-лист OpenAI. Мы не являемся OpenAI и не приводим их цены здесь, так как они меняются, и их следует читать у источника. Что мы можем точно объяснить, так это структуру, которая общая для большинства провайдеров, и то, как она работает в API, которое мы запускаем: размещённый (хостируемый) API только для текста, совместимый с OpenAI, с одной моделью с открытыми весами, uncensored, управляемой независимым провайдером.

Токены — это единица измерения

Токен — это фрагмент текста, который модель читает или пишет. Это может быть целое короткое слово, часть длинного слова, число или знак препинания. Для обычного английского текста приблизительное правило гласит, что один токен составляет около четырёх символов или трёх четвертей слова. Другие языки, код и необычное форматирование обычно требуют больше токенов для той же видимой длины, поэтому воспринимайте любое правило как оценку и читайте реальное количество токенов из API.

Каждый ответ от нашего API включает объект использования с полями prompt_tokens и completion_tokens. Для потоковых ответов данные об использовании поступают в конце. Именно по этим двум числам вы оплачиваете использование. Ничто другое, такое как количество запросов или время выполнения вызова, не влияет на цену.

Поскольку единицей измерения являются токены, а не символы или вызовы, одна и та же функция может быть дешёвой или дорогой в зависимости от того, как вы её реализуете. Промпт для классификации в одну строку может стоить долю цента за тысячу вызовов. Промпт, который вставляет 60-страничный документ в каждый запрос, стоит гораздо дороже, даже если он вызывается то же количество раз.

Ввод и вывод имеют разные цены

Входные токены — это всё, что вы отправляете: системное сообщение, история разговора, последнее сообщение пользователя, определения инструментов и результаты работы инструментов. Выходные токены — это то, что генерирует модель, включая любые вызовы инструментов, которые она пишет. Генерация текста требует больше вычислений, чем чтение, поэтому провайдеры устанавливают более высокую цену на вывод. В нашем API ставки следующие:

За 1 млн токеновЗа токен
Входные$0.15$0.00000015
Выходные$0.50$0.0000005

Вывод стоит 0,50 / 0,15, то есть примерно в 3,3 раза дороже за токен. Это соотношение определяет архитектурные решения. Если ваше приложение отправляет промпт на 3 000 токенов и получает метку на 100 токенов, вход стоит $0,00045, а вывод — $0,00005: промпт составляет 90 % стоимости, и сокращение его длины важнее всего остального. Если приложение запрашивает истории на 2 000 токенов по промпту в 200 токенов, вход стоит $0,00003, а вывод — $0,001: вывод составляет 97 % стоимости, и рычаг — длина истории.

Проверьте эти числа самостоятельно: 3000 x 0,15 / 1 000 000 = 0,00045. 100 x 0,50 / 1 000 000 = 0,00005. 200 x 0,15 / 1 000 000 = 0,00003. 2000 x 0,50 / 1 000 000 = 0,001.

Почему история увеличивает стоимость чата со временем

API не имеет состояния. Модель не запоминает ваш предыдущий запрос, поэтому приложение чата отправляет предыдущие сообщения вместе с каждым новым. Следовательно, ввод для шага 10 содержит реплики с 1 по 9 снова, и вы платите за эти токены каждый раз.

Предположим, чат, где каждый шаг добавляет 400 токенов в сумме. Шаг 1 отправляет около 400 токенов контекста, шаг 10 — около 4000, а шаг 50 — около 20000. Контекстное окно модели в нашем API составляет 100000 токенов, включая промпт и завершение, поэтому очень длинная сессия в конечном итоге потребует сокращения независимо от стоимости. Типичные решения:

  • Сохраняйте системный промпт и последние N шагов, а среднюю часть удаляйте.
  • Суммируйте старые реплики в краткую заметку и отправляйте заметку вместо них.
  • Храните долгосрочные факты вне чата и вставляйте только релевантные.

Конкретное число: системный промпт на 1000 токенов, отправляемый с каждым из 1000 запросов, составляет 1 000 000 входных токенов, что равно $0,15. Само по себе это нормально. Но лист персонажа на 10000 токенов, отправляемый с каждым из 100000 запросов, составляет 1 000 000 000 входных токенов, или $150. Фиксированные накладные расходы умножаются на объём, и это умножение — то, на что следует обратить внимание.

Предоплаченный баланс, а не подписка

Провайдеры различаются по движению денег. Некоторые выставляют счета после окончания месяца, некоторые списывают средства с предоплаченного баланса, а некоторые сочетают оба способа с ежемесячными планами. В нашем API всё просто: вы добавляете кредит, использование его уменьшает, и ничего не продлевается автоматически. Кредит не сгорает. Неудавшиеся или отклонённые запросы не оплачиваются.

Пополнения — любая целая сумма от $20 до $500 с бонусом +5 % от $50, +10 % от $100 и +15 % от $200. То есть $100 даёт $110 баланса, а $200 — $230. Вы можете оплатить криптовалютой (USDT на TRC20, USDC на Base). Практический результат: ваш худший случай ограничен тем, что вы пополнили: баг в бесконечном цикле не может потратить больше, чем на балансе. Баланс после каждого вызова доступен в заголовке ответа X-Balance-USD.

Новые пользователи могут сначала попробовать сервис. После входа в систему одним нажатием на странице API-ключ можно получить $0,50 пробного кредита, действительного в течение 7 дней, один на человека, без необходимости привязки карты.

Лимиты запросов — отдельный регулятор

Два API с одинаковой ценой за миллион токенов могут сильно отличаться, потому что лимиты запросов определяют, сколько вы можете пропустить за минуту. Провайдеры обычно устанавливают лимиты по уровням аккаунта. В нашем API полный ключ позволяет 8 параллельных запросов и 300 запросов в минуту, а пробный ключ — 2 параллельных и 60 в минуту. Максимальный размер тела запроса — 8 МБ.

При превышении лимита вы получаете HTTP 429. Код ошибки rate_limited, когда вы превысили лимит запросов в минуту, и concurrency, когда слишком много запросов выполнялось одновременно. При временной перегрузке API также возвращает 429 с заголовком Retry-After: 5. Одна деталь, которая часто вводит в заблуждение: потоковый запрос удерживает слот параллельных запросов до завершения потока, поэтому медленные клиенты, считывающие токены по одному, могут заполнить 8 слотов быстрее, чем показывает счётчик запросов.

Лимиты изменяют пропускную способность, а не цену. Если вам нужно пропустить большой пакет, арифметика проста: при 300 запросах в минуту 10 000 запросов займут около 34 минут, при условии, что каждый завершается достаточно быстро, чтобы оставаться в пределах 8 параллельных запросов.

Применение модели к этому API

Часть, совместимая с OpenAI, — это то, что делает модель ценообразования переносимой. Любой SDK OpenAI работает после изменения базового URL и ключа, поэтому код отслеживания затрат, который вы написали для одного провайдера, обычно можно повторно использовать. Этот скрипт считывает использование и оценивает вызов по нашим ставкам:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.openaiapipricing.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Explain what a token is in two sentences."},
    ],
)

u = resp.usage
input_cost = u.prompt_tokens * 0.15 / 1_000_000
output_cost = u.completion_tokens * 0.50 / 1_000_000
print(f"in={u.prompt_tokens} out={u.completion_tokens} total={input_cost + output_cost:.7f}")

Что представляет собой этот API в терминах выше: одна модель, только текст, контекстное окно на 100 000 токенов, вызов функций, JSON-режим и потоковая передача, а промпты не используются для обучения. Модель настроена на ответы без отказов в генерации контента для законного использования взрослыми, и существует строгий предел на сексуальный контент с участием несовершеннолетних. Это не маршрутизатор между поставщиками и не официальный эндпоинт какого-либо поставщика. Детали настройки — в быстром старте, а полный прайс-лист — на странице с ценами. Для сравнения с другими сервисами см. странице о стоимости API ChatGPT.

Вопросы и ответы

Что означает модель ценообразования API OpenAI простыми словами?

Вы платите за токены: одна ставка за токены, которые вы отправляете, и более высокая ставка за токены, которые возвращает модель. Ставки зависят от модели, а счёт — это количество токенов, умноженное на цену за миллион.

Что дороже: ввод или вывод?

Вывод. В нашем API это $0,50 за 1 млн токенов против $0,15 за 1 млн для ввода, примерно в 3,3 раза больше.

Почему длинный чат обходится дороже за сообщение?

API не запоминает предыдущие реплики, поэтому каждый запрос повторно отправляет историю в виде входных токенов. Чем длиннее история, тем больше входных данных вы оплачиваете за каждый шаг.

Влияют ли лимиты запросов на то, что вы платите?

Нет. Они устанавливают лимиты на количество запросов в минуту и одновременные запросы. Цена за токен остаётся прежней.

Ваш API такой же, как у OpenAI?

Нет. Он следует формату запросов OpenAI, поэтому существующие SDK работают, но запускается другая модель с открытыми весами, управляемая независимым провайдером.

Ключ — всего в одной форме от вас

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.