中文 ▾
获取 API 密钥
无审查 LLM API 定价指南

ChatGPT API 成本:运作方式与替代方案

ChatGPT API 成本结构已发生重大变化,输入和输出 token 现在分别定价,使得上下文窗口管理对于预算控制至关重要。对于寻求无内容过滤原始模型输出的开发者来说,无审查的开放权重替代方案提供了透明、基于 token 的定价模型,通常比专有选项更便宜,同时保持标准的聊天补全接口。

ChatGPT API 成本:运作方式与替代方案

更新于

要点
  • 在主要专有模型中,输入 token 现在比输出 token 便宜得多,扭转了之前的定价不对称性。
  • 无审查的开放权重模型提供了一种可预测的固定费率替代方案,绕过了内容拒绝的开销。
  • 流式输出和函数调用本身不会改变 token 成本,但会影响延迟和 token 效率。
  • 上下文窗口大小直接决定了可批处理的请求大小和每次交互的总成本。

理解 ChatGPT API 成本结构

llm api 定价的格局已从简单的按 token 费率演变为基于模型能力的复杂分层结构。OpenAI 等专有提供商多次调整其open ai api 定价模型,通常引入更便宜的变体以加快推理速度,并为更高的推理能力提供高级层级。核心机制保持一致:你为处理的 token 付费,但输入和输出成本之间的比例在不同模型代际间差异显著。

对于开发者来说,这意味着仅通过总 token 数估算成本不再准确。你必须区分读取上下文(输入)的成本和生成响应(输出)的成本。许多llm api 提供商服务现在为针对速度优化的模型提供较低费率,这些模型可能会牺牲一些准确性,但会大幅降低高容量、简单任务的chatgpt api 成本。了解这些层级是有效预算规划的第一步。

输入与输出 token 定价

最近openai api 定价更新中最关键的转变之一是输入和输出 token 成本的差异。历史上,输入和输出 token 的定价相似。如今,输入 token 的成本通常是输出 token 的一小部分。例如,模型可能对每百万个输入 token 收取 $0.50,而对每百万个输出 token 收取 $3.00。这种不对称性有利于简洁的提示词和详细的响应。

在评估最佳无审查 llm选项时,如果你的用例涉及生成大量文本,这种比率的重要性会降低。然而,对于输出长度受控的标准聊天应用,输入成本变得微不足道。相比之下,无审查 API 替代方案通常保持更平衡甚至反转的比例,无论内容类型如何,都能提供可预测的成本。这对于响应长度变化的应用至关重要。

上下文窗口对成本的影响

上下文窗口定义了模型在单个请求中可以处理的最大文本量。更大的上下文窗口允许更全面的指令和历史记录,但会增加输入 token 数量。如果你向具有 128k 上下文窗口的模型发送 100k token 的提示词,无论模型是否高效使用它们,你都要为这 100k token 付费。

llm api 定价随 token 数量线性扩展,因此管理上下文窗口使用是直接的成本控制机制。开发者通常会截断历史记录或总结之前的对话轮次,以保持输入 token 较低。一些无审查模型提供巨大的上下文窗口(例如 100k 或更多),以固定费率提供,允许进行广泛的文档处理,而不会像某些高级专有模型那样面临成比例增加的输入成本。这使得使用开放权重选项进行大上下文任务更具经济性。

流式与非流式成本对比

通过服务器发送事件 (SSE) 进行流式响应不会改变底层token 定价。无论你是流式传输响应还是等待完整补全,模型处理的 token 和生成的输出是相同的。成本是相同的。然而,流式输出会影响用户体验和感知延迟。

非流式请求会保持连接打开,直到完整响应准备好,这可能导致长输出的超时风险增加。流式传输允许立即显示部分结果。从成本角度来看,选择纯粹关乎用户体验。一些提供商对流式和非流式收取不同的费用,但大多数标准聊天补全 api实现(包括我们托管的)在 token 计费方面将它们视为相同。始终在提供商的具体文档中验证这一点。

函数调用开销

函数调用(function calling)会在对话中引入额外的 token。当模型决定调用工具时,它会输出一个描述函数及其参数的 JSON 结构。这些 token 算作输出 token。此外,系统必须在提示词中包含工具定义,这算作输入 token。

这导致了双重成本增加:用于工具模式的输入 token 更多,用于函数调用的输出 token 也更多。对于拥有许多工具的复杂代理,这种开销可能变得显著。在比较最佳无审查 llm与专有模型时,请考虑无审查模型的函数调用准确性是否足以证明 token 开销的合理性。不一致的函数调用可能导致重试,从而成倍增加成本。专有模型通常拥有更成熟的函数调用生态系统,但价格更高。

对比:ChatGPT 与无审查模型

GPT-4o 和 Claude 等专有模型提供高推理能力,但附带严格的内容过滤器和更高的成本。相比之下,无审查模型经过调整,可以回答争议性、成人或利基话题而不会拒绝,这对于创意写作、角色扮演或研究很有价值。这些无审查替代方案的openai api 定价通常更简单:每个 token 的固定费率,推理或高级功能没有隐藏费用。

例如,我们的托管 API 提供简洁的定价模型:每百万输入 token $0.15,每百万输出 token $0.50。这与许多中型专有模型具有竞争力。关键区别不仅在于价格,还在于行为。无审查模型不会拒绝合法的成人内容,这根据你的用例可能是一个特性或一个缺陷。如果你需要未经审核过滤的原始输出,无审查 API 提供了一条直接且具成本效益的路径。

优化生产环境中的 token 使用

为了最小化llm api 定价支出,开发者应实施高效的提示词工程。这包括使用系统提示词定义行为,而不是在每个用户消息中重复指令,截断不相关的历史记录,并对长文档使用压缩技术。此外,选择合适的模型层级至关重要。如果不需要高推理能力,请使用最便宜的可用模型。

另一种优化是在可能的情况下批量处理请求,但这取决于 API 的并发限制。对于我们的 API,每个请求独立处理,因此批量处理在应用程序层面完成。通过减少每个请求的平均 token 数量,你可以直接降低每次用户交互的成本。按接口定期审计 token 使用情况可以发现低效之处并指导进一步优化。

速率限制与并发

速率限制定义了每分钟可以发送的请求数量。专有模型通常有严格的速率限制,可能会限制高流量应用,导致请求排队时延迟增加。llm api 定价并不总是反映由于节流而等待响应的成本。高并发需求可能需要购买具有更好速率限制的高级计划。

我们的 API 支持每个密钥每分钟 300 个请求,这对于大多数中等规模的应用已经足够。如果超出此限制,请求将被拒绝并返回 429 错误。这是一个透明的限制,允许可预测的扩展。与一些隐藏速率限制或为突发容量收取额外费用的提供商不同,我们的模型在基础按需付费结构中包含了慷慨的限制。这确保了即使在高峰使用期间,你的chatgpt api 成本预测也保持准确。

问答

流式输出会改变 token 成本吗?

不,流式输出不会改变 token 成本。无论以流式还是完整响应接收,模型处理并生成的 token 数量相同。两种方法的成本完全一致。

上下文窗口大小如何影响定价?

上下文窗口大小决定了您可以发送的最大输入 token 数。更大的上下文窗口允许更多输入数据,从而增加输入 token 数量并提高成本。然而,无论使用多大的窗口,每个 token 的价格保持不变。

函数调用有隐藏费用吗?

函数调用会增加额外开销,包括用于工具定义的输入 token 和用于函数调用 JSON 的输出 token。没有单独的费用,但 token 数量增加,从而增加总成本。

无审查 API 的速率限制是多少?

速率限制为每个 API 密钥每分钟 300 个请求。这是服务器强制执行的上限。如果超出此限制,请求将被拒绝并返回 429 状态码,直到速率重置。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是整个设置。