中文 ▾
获取 API 密钥
无审查 LLM API 定价指南

Token 基础 API 计费原理,通俗详解

OpenAI API 计费模型按 token 计费:你发送的 token 和模型生成的 token 按两种不同的费率计费。本文用通俗语言解释每个部分,并说明我们的 OpenAI 兼容 API 如何应用这一概念。

更新于

小方块流入仪表,大方块流出,形象地描绘输入和输出 token 的计费方式
要点
  • 你按 token 付费,输入有一个费率,输出有更高的费率。
  • 对话历史在每次请求时都会重新发送,因此长对话每条消息的成本高于短对话。
  • 速率限制限制了发送请求的速度。它们不会改变每个 token 的价格。
  • 我们的 API 从预付额度中收取费用,每 100 万 token 收费 $0.15 和 $0.50,且独立于任何供应商的产品。

一段话了解模型

托管语言模型 API 通常按使用情况计费,而非按席位计费。你的程序发送文本,服务统计输入和输出的 token 数量,账单为这些数量乘以每百万 token 的价格。输入和输出有独立的价格。不同模型有不同的价格。还有一些附加规则:速率限制、上下文窗口以及你的支付方式(预付或账单)。这就是整个计费模型,本文的其余部分将逐一拆解。

首先澄清一点。当人们搜索这个短语时,他们通常指的是 OpenAI 自己的价格表。我们不是 OpenAI,这里也不引用他们的价格,因为这些价格会变化,你应该在官方来源处查看。我们可以准确解释的是其结构,这也是大多数提供商共享的结构,以及它如何在我们运营的 API 上工作:这是一个托管的、OpenAI 兼容的、仅文本的 API,使用一个开放权重模型 uncensored,由独立提供商运营。

Token 是计量单位

Token 是模型读取或写入的文本块。它可能是一个完整的短词、长词的一部分、数字或标点符号。对于普通英语散文,一个粗略的经验法则是,一个 token 大约包含四个字符,或四分之三个单词。其他语言、代码和特殊格式通常需要更多的 token 才能达到相同的可见长度,因此请将任何经验法则视为估计值,并从 API 读取实际计数。

我们 API 的每个响应都包含一个包含 prompt_tokens 和 completion_tokens 的使用量对象。对于流式输出,使用量在末尾到达。这两个数字是你计费的基础。其他任何内容,如请求数量或调用耗时,都不计入价格。

因为单位是 token 而不是字符或调用,所以同一功能可能便宜也可能昂贵,取决于你如何构建它。一个单行分类提示词可能只需几分之一美分即可用于一千次调用。一个将 60 页文档粘贴到每次请求中的提示词成本要高得多,即使它被调用的次数相同。

输入和输出价格不同

输入 token 包括你发送的所有内容:系统消息、对话历史、用户的最新消息、工具定义和工具结果。输出 token 是模型生成的内容,包括它写入的任何工具调用。生成文本比读取文本需要更多的计算资源,因此提供商对输出的定价更高。在我们的 API 中,费率为:

每 100 万 token按 token
输入$0.15$0.00000015
输出$0.50$0.0000005

输出是 0.50 / 0.15,即每个 token 贵约 3.3 倍。该比率驱动设计决策。如果你的应用发送 3,000 个 token 的提示词并返回 100 个 token 的标签,输入是 $0.00045,输出是 $0.00005,因此提示词占成本的 90%,缩短提示词比任何其他操作都重要。如果你的应用从 200 个 token 的提示词中请求 2,000 个 token 的故事,输入是 $0.00003,输出是 $0.001,因此输出占成本的 97%,关键杠杆是故事的长度。

请自行验证这些数字:3,000 x 0.15 / 1,000,000 = 0.00045。100 x 0.50 / 1,000,000 = 0.00005。200 x 0.15 / 1,000,000 = 0.00003。2,000 x 0.50 / 1,000,000 = 0.001。

为什么历史记录会让对话成本随时间增加

API 是无状态的。模型不记得你上一次的请求,因此聊天应用程序会在每次新请求时重新发送之前的消息。因此,第 10 轮请求包含第 1 到第 9 轮,你每次都要为这些 token 付费。

以聊天为例,每一轮总共增加 400 个 token。第 1 轮发送约 400 个 token 的上下文,第 10 轮约 4,000 个,第 50 轮约 20,000 个。我们 API 上模型的上下文窗口为 100,000 个 token(包含提示词和补全),因此非常长的会话最终需要截断,无论成本是否关键。常见的修复方法如下:

  • 保留系统提示词和最后 N 轮对话,并删除中间部分。
  • 将旧对话总结为简短笔记,并发送该笔记。
  • 将长期事实存储在聊天外部,并仅插入相关事实。

一个具体的数字:每次请求都发送 1,000 个 token 的系统提示词,共 1,000 次请求,即 1,000,000 个输入 token,成本为 $0.15。单独看还可以。但如果每次请求都发送 10,000 个 token 的角色卡,共 100,000 次请求,即 1,000,000,000 个输入 token,成本为 $150。固定开销乘以数量,这种乘法是需要关注的关键。

预付额度,而非订阅制

提供商在资金流动方式上有所不同。有些在月底计费,有些从预付余额中扣除,有些则结合月度计划。在我们的 API 中,这很简单:你充值额度,使用量会消耗它,且不会自动续订。额度永不过期。失败或被拒绝的请求不会收费。

充值金额为 $20 至 $500 的整数,从 $50 起享 +5% 奖励,从 $100 起享 +10% 奖励,从 $200 起享 +15% 奖励。因此充值 $100 可获得 $110 的预付额度,充值 $200 可获得 $230。你可以通过加密货币(TRC20 上的 USDT、Base 上的 USDC)支付。实际效果是,你的最大损失不会超过充值金额:即使出现死循环,也不会消耗超过余额的金额。每次调用后的余额显示在 X-Balance-USD 响应头中。

新用户可以先试用服务。注册后,点击 API 密钥页面 即可获得 $0.50 的免费试用额度,有效期 7 天,每人限一次,无需信用卡。

速率限制是独立的旋钮

两个每百万 token 价格相同的 API 可能感觉非常不同,因为速率限制决定了你每分钟可以处理多少请求。提供商通常为每个账户层级设置限制。在我们的 API 中,完整密钥允许 8 个并发请求和每分钟 300 个请求,试用密钥允许 2 个并发和每分钟 60 个请求。最大请求体为 8 MB。

当你超过限制时,你会收到 HTTP 429 错误。当超过每分钟请求数时,错误代码为 rate_limited,当并发请求过多时,错误代码为 concurrency。在临时过载时,API 还会返回 429 错误,并带有 Retry-After: 5 头。一个容易让人忽略的细节:流式请求会占用其并发槽位,直到流结束,因此一次读取一个 token 的慢速客户端可能比请求计数显示的更快填满 8 个槽位。

限制改变吞吐量,而非价格。如果你需要推送大批量数据,算术很简单:以每分钟 300 个请求的速度,10,000 个请求大约需要 34 分钟,假设每个请求都足够快以保持在 8 个并发以内。

将模型应用于此 API

OpenAI 兼容部分是使计费模型可移植的关键。一旦你更改了 Base URL 和密钥,任何 OpenAI SDK 都可以工作,因此你为其他提供商编写的成本跟踪代码通常可以重用。此脚本读取使用量并按我们的费率对调用进行定价:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.openaiapipricing.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Explain what a token is in two sentences."},
    ],
)

u = resp.usage
input_cost = u.prompt_tokens * 0.15 / 1_000_000
output_cost = u.completion_tokens * 0.50 / 1_000_000
print(f"in={u.prompt_tokens} out={u.completion_tokens} total={input_cost + output_cost:.7f}")

根据上述术语,该 API 是:一个模型,纯文本,100,000 个 token 的上下文窗口,支持函数调用、JSON 模式和流式输出,且提示词不用于训练。该模型经过调整,在合法成人用途下直接回答而不进行内容审查,但对涉及未成年人的性内容有硬性限制。它不是跨供应商的路由器,也不是任何供应商的官方接口。设置详情见 快速入门,完整价格表见 定价页面。如需与其他服务的工作对比,请参阅 ChatGPT API 成本页面。

问答

OpenAI API 计费模型具体指什么?

你为 token 付费:你发送的 token 适用一种费率,模型返回的 token 适用更高的费率。费率取决于模型,账单为 token 数量乘以每百万 token 的价格。

输入和输出哪个更贵?

输出更贵。在我们的 API 中,输出为每 1M token $0.50,输入为每 1M token $0.15,约为 3.3 倍。

为什么长对话每条消息的成本更高?

API 不记忆之前的对话轮次,因此每次请求都会将历史记录作为输入 token 重新发送。历史记录越长,你在每一轮中支付的输入费用就越多。

速率限制会影响我的费用吗?

不会。速率限制限制了每分钟请求数和并发请求数。每个 token 的价格保持不变。

你的 API 与 OpenAI 的相同吗?

不同。它遵循 OpenAI 的请求格式,因此现有 SDK 可以正常工作,但它运行的是由独立提供商运营的开放权重模型。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。