繁中 ▾
取得 API 金鑰
無審查 LLM API 定價指南

ChatGPT API 費用:運作方式與替代方案

ChatGPT API 費用結構已顯著變化,輸入與輸出 token 現在分別計價,使得上下文視窗管理對於預算控制至關重要。對於尋求無內容篩選原始模型輸出的開發者而言,無審查開放權重模型提供了透明且基於 token 的定價模式,通常比專有方案更便宜,同時維持標準的聊天完成介面。

ChatGPT API 費用:運作方式與替代方案

更新

重點摘要
  • 在主要專有模型中,輸入 token 現在比輸出 token 便宜許多,逆轉了之前的定價不對稱現象。
  • 無審查開放權重模型提供可預測的固定費率替代方案,避開了內容拒絕的額外負擔。
  • 串流輸出與函式呼叫本身不會改變 token 費用,但它會影響延遲與 token 效率。
  • 上下文視窗大小直接決定了可批次處理的請求大小以及每次互動的總費用。

了解 ChatGPT API 費用結構

llm api 定價的格局已從簡單的每 token 費率演變為基於模型能力的複雜分層結構。OpenAI 等專有提供者已多次調整其open ai api 定價模型,通常為較快推理引入較便宜變體,並為較高推理能力提供高級層級。核心機制保持一致:你為處理的 token 付費,但輸入與輸出成本的比率在不同模型世代之間差異顯著。

對開發者而言,這意味著僅根據總 token 數量估算費用已不再準確。你必須區分閱讀上下文(輸入)的成本與生成回應(輸出)的成本。許多llm api 提供者服務現在為優化速度的模型提供較低費率,這些模型可能犧牲一些準確性,但能大幅降低高容量簡單任務的chatgpt api 費用。了解這些層級是有效預算規劃的第一步。

輸入與輸出 token 定價

近期openai api 定價更新中最關鍵的變化之一是輸入與輸出 token 成本的差異。歷史上,輸入與輸出 token 的定價相似。如今,輸入 token 的價格通常僅為輸出 token 的一小部分。例如,模型可能對每百萬輸入 token 收取 $0.50,而對每百萬輸出 token 收取 $3.00。這種不對稱有利於簡潔的提示詞但需要詳細回應的場景。

在評估最佳無審查 llm選項時,如果你的用例涉及生成大量文本,此比率較不重要。然而,對於輸出長度受控的標準聊天應用程式,輸入成本變得微乎其微。相比之下,無審查 API 替代方案通常維持更平衡甚至逆轉的比率,無論內容類型如何都能提供可預測的成本。這種可預測性對於回應長度多變的應用程式至關重要。

上下文視窗對費用的影響

上下文視窗定義了模型在單一請求中能處理的最大文本量。較大的上下文視窗允許更全面的指令與歷史記錄,但會增加輸入 token 數量。如果你向具有 128k 上下文視窗的模型傳送 100k token 的提示詞,無論模型是否高效使用這些 token,你都要為這 100k token 付費。

llm api 定價隨 token 數量線性擴展,因此管理上下文視窗用量是直接的成本控制機制。開發者通常會截斷歷史記錄或總結之前的對話輪次,以保持輸入 token 數量較低。一些無審查模型提供巨大的上下文視窗(例如 100k 或更多)且採用固定費率,允許進行廣泛的文件處理,而不會像某些高級專有模型那樣面臨輸入成本成比例增加的懲罰。這使得使用開放權重選項處理大上下文任務更具經濟效益。

串流與非串流費用比較

透過伺服器發送事件(SSE)進行串流回應不會改變底層token 定價。無論你是串流回應還是等待完整完成,模型處理的 token 數量相同,生成的輸出也相同。費用是相同的。然而,串流會影響使用者體驗和感知的延遲。

非串流請求會保持連線開啟,直到完整回應準備就緒,這可能導致長輸出時的超時風險增加。串流允許立即顯示部分結果。從費用角度來看,選擇純粹取決於使用者體驗。一些提供者對串流與非串流收取不同費用,但大多數標準聊天完成 api實作(包括我們託管的實作)在 token 計費方面將兩者視為相同。請務必在提供者的特定文件中驗證這一點。

函式呼叫額外負擔

函式呼叫(函式呼叫)會向對話中引入額外 token。當模型決定呼叫工具時,它會輸出描述函式及其參數的 JSON 結構。這些 token 計為輸出 token。此外,系統必須在提示詞中包含工具定義,這計為輸入 token。

這產生了雙重的成本增加:用於工具模式的更多輸入 token 和用於函式呼叫的更多輸出 token。對於擁有許多工具的複雜代理程式,這種額外負擔可能變得顯著。在比較最佳無審查 llm與專有模型時,請考慮無審查模型的函式呼叫準確性是否足以證明 token 額外負擔的合理性。不一致的函式呼叫可能導致重試,從而倍增費用。專有模型通常擁有更成熟的函式呼叫生態系統,但價格更高。

比較:ChatGPT 與無審查模型

GPT-4o 和 Claude 等專有模型提供高推理能力,但附帶嚴格的内容篩選器和較高的成本。相比之下,無審查模型經過調整,可回答爭議性、成人或利基主題而不會拒絕,這對於創意寫作、角色扮演或研究非常有價值。這些無審查替代方案的openai api 定價通常更簡單:每個 token 的固定費率,沒有推理或高級功能的隱藏費用。

例如,我們託管的 API 提供簡單的定價模式:每百萬輸入 token $0.15,每百萬輸出 token $0.50。這與許多中階專有模型具有競爭力。關鍵差異不僅在於價格,還在於行為。無審查模型不會拒絕合法的成人內容,這可能是功能也可能是缺點,取決於你的用例。如果你需要沒有審核篩選器的原始輸出,無審查 API 提供了一條直接且具成本效益的路徑。

優化生產環境的 token 用量

要減少llm api 定價支出,開發者應實作 token 高效的提示詞工程。這包括使用系統提示詞來定義行為,而不是在每個使用者訊息中重複指令,截斷無關的歷史記錄,並對長文件使用壓縮技術。此外,選擇正確的模型層級至關重要。如果不需要高推理能力,請使用最便宜的可用模型。

另一個優化是在可能的情況下批次處理請求,但這取決於 API 的並行限制。對於我們的 API,每個請求獨立處理,因此批次處理在應用程式層級處理。通過減少每次請求的平均 token 數量,你可以直接降低每次使用者互動的成本。定期按端點審計 token 用量可以揭示效率低下之處並指導進一步優化。

速率限制與並行請求

速率限制定義了你每分鐘可以發送多少請求。專有模型通常有嚴格的速率限制,可能會限制高流量應用程式,導致請求排隊時延遲增加。llm api 定價並不能完全反映因節流而等待回應的成本。高並行需求可能需要購買具有更好速率限制的高級方案。

我們的 API 支援每支金鑰每分鐘 300 次請求,這足以滿足大多數中等規模的應用程式。如果你超過此限制,請求將以 429 錯誤被拒絕。這是一個透明的限制,允許可預測的擴展。與一些隱藏速率限制或為突發容量收取額外費用的提供者不同,我們的模型在基礎隨用隨付結構中包含了慷慨的限制。這確保了你的chatgpt api 費用預測即使在高峰使用期間也能保持準確。

問答

串流輸出會改變 token 費用嗎?

不會,串流輸出不會改變 token 費用。無論以串流或單區塊接收回應,模型處理與生成的 token 數量相同。兩種方法的費用相同。

上下文視窗大小如何影響定價?

上下文視窗大小決定了可傳送的最大輸入 token 數量。較大的上下文視窗允許更多輸入資料,這會增加輸入 token 數量進而增加費用。然而,無論使用多大的視窗,每個 token 的價格保持不變。

函式呼叫有隱藏費用嗎?

函式呼叫會以額外開銷的形式增加輸入 token(用於工具定義)與輸出 token(用於函式呼叫 JSON)。沒有額外費用,但 token 數量會增加,進而提高總成本。

無審查 API 的速率限制為何?

速率限制為每支 API 金鑰每分鐘 300 次請求。這是伺服器強制執行的硬性限制。若超過此限制,請求將被拒絕並返回 429 狀態碼,直到速率重置為止。

只差一張表單,即可取得金鑰

建立帳戶,複製金鑰,更改基礎 URL。這就是整個設定過程。