Cách hoạt động của giá API theo token, giải thích đơn giản
Mô hình giá API OpenAI là trả tiền theo token: bạn được tính phí cho token bạn gửi và token mô hình trả lại, ở hai tỷ lệ khác nhau. Trang này giải thích từng phần bằng ngôn ngữ đơn giản và cho thấy API tương thích OpenAI của chúng tôi áp dụng ý tưởng tương tự như thế nào.
Cập nhật

- Bạn trả tiền theo token, với một tỷ lệ cho input và tỷ lệ cao hơn cho output.
- Lịch sử hội thoại được gửi lại ở mỗi lượt, nên các cuộc hội thoại dài tốn nhiều tiền hơn cho mỗi tin nhắn so với các cuộc hội thoại ngắn.
- Giới hạn tốc độ hạn chế tốc độ bạn có thể gửi yêu cầu. Chúng không thay đổi giá trên mỗi token.
- API của chúng tôi tính phí $0,15 và $0,50 cho mỗi 1 triệu token từ tín dụng trả trước và là một sản phẩm riêng biệt so với bất kỳ nhà cung cấp nào khác.
Mô hình trong một đoạn văn
Các API mô hình ngôn ngữ được lưu trữ thường được bán theo mức sử dụng, không theo ghế người dùng. Chương trình của bạn gửi văn bản, dịch vụ đếm số token đầu vào và đầu ra, và hóa đơn là các số đếm đó nhân với giá trên mỗi triệu token. Đầu vào và đầu ra có giá riêng. Các mô hình khác nhau có giá khác nhau. Một vài quy tắc bổ sung nằm trên cùng: giới hạn tốc độ, cửa sổ ngữ cảnh và cách bạn nạp tiền (trả trước hoặc hóa đơn). Đó là toàn bộ mô hình giá, và phần còn lại của trang này giải thích từng phần.
Trước hết là một lời giải thích. Khi mọi người nhập cụm từ này vào hộp tìm kiếm, họ thường muốn nói đến bảng giá của chính OpenAI. Chúng tôi không phải là OpenAI và chúng tôi không trích dẫn giá của họ ở đây, vì những giá đó thay đổi và bạn nên đọc chúng tại nguồn. Những gì chúng tôi có thể giải thích chính xác là cấu trúc, được chia sẻ bởi hầu hết các nhà cung cấp, và cách nó hoạt động trên API mà chúng tôi vận hành: một API chỉ dành cho văn bản, tương thích OpenAI, với một mô hình trọng số mở, uncensored, được vận hành bởi một nhà cung cấp độc lập.
Token là đơn vị đo lường
Một token là một đoạn văn bản mà mô hình đọc hoặc ghi. Nó có thể là một từ ngắn nguyên vẹn, một phần của từ dài, một số hoặc một dấu câu. Đối với văn bản tiếng Anh thông thường, một quy ước chung xấp xỉ là một token tương đương khoảng bốn ký tự, hoặc ba phần tư của một từ. Các ngôn ngữ khác, mã nguồn và định dạng lạ thường tốn nhiều token hơn cho cùng độ dài hiển thị, vì vậy hãy coi bất kỳ quy ước nào là một ước tính và đọc các số đếm thực tế từ API thay vì dựa vào quy ước đó.
Mọi phản hồi từ API của chúng tôi đều bao gồm một đối tượng usage với prompt_tokens và completion_tokens. Đối với các phản hồi được truyền phát, dữ liệu sử dụng sẽ xuất hiện ở cuối. Hai con số đó là những gì bạn sẽ bị tính phí. Không có gì khác, chẳng hạn như số lượng yêu cầu hoặc thời gian một cuộc gọi mất đi, được đưa vào giá.
Vì đơn vị là token chứ không phải ký tự hoặc cuộc gọi, cùng một tính năng có thể rẻ hoặc đắt tùy thuộc vào cách bạn xây dựng nó. Một prompt phân loại một dòng có thể tốn một phần nhỏ của một xu cho một nghìn cuộc gọi. Một prompt dán một tài liệu 60 trang vào mỗi yêu cầu sẽ tốn nhiều hơn nhiều, ngay cả khi nó được gọi cùng số lần.
Giá đầu vào và đầu ra khác nhau
Token đầu vào là mọi thứ bạn gửi: thông báo hệ thống, lịch sử hội thoại, tin nhắn mới nhất của người dùng, định nghĩa công cụ và kết quả công cụ. Token đầu ra là những gì mô hình tạo ra, bao gồm bất kỳ lệnh gọi công cụ nào mà nó viết. Tạo văn bản tốn nhiều tài nguyên tính toán hơn là đọc, vì vậy các nhà cung cấp định giá đầu ra cao hơn. Trên API của chúng tôi, các mức giá là:
| Theo 1 triệu token | Theo token | |
|---|---|---|
| Đầu vào | $0.15 | $0.00000015 |
| Đầu ra | $0.50 | $0.0000005 |
Đầu ra đắt hơn 0,50 / 0,15, tức là khoảng 3,3 lần đắt hơn mỗi token. Tỷ lệ này chi phối các quyết định thiết kế. Nếu ứng dụng của bạn gửi một prompt 3.000 token và nhận lại một nhãn 100 token, đầu vào là $0,00045 và đầu ra là $0,00005, vì vậy prompt chiếm 90 phần trăm chi phí và việc rút ngắn nó quan trọng hơn bất cứ điều gì khác. Nếu ứng dụng của bạn yêu cầu các câu chuyện 2.000 token từ một prompt 200 token, đầu vào là $0,00003 và đầu ra là $0,001, vì vậy đầu ra chiếm 97 phần trăm chi phí và đòn bẩy là độ dài của câu chuyện.
Hãy tự kiểm tra những con số đó: 3.000 x 0.15 / 1.000.000 = 0.00045. 100 x 0.50 / 1.000.000 = 0.00005. 200 x 0.15 / 1.000.000 = 0.00003. 2.000 x 0.50 / 1.000.000 = 0.001.
Tại sao lịch sử khiến hội thoại tốn kém hơn theo thời gian
API không có trạng thái. Mô hình không nhớ yêu cầu trước đó của bạn, vì vậy một ứng dụng trò chuyện sẽ gửi lại các tin nhắn trước đó với mỗi tin nhắn mới. Do đó, đầu vào cho lượt 10 sẽ chứa lại các lượt 1 đến 9 và bạn phải trả tiền cho các token đó mỗi lần.
Hãy xem một cuộc trò chuyện mà mỗi lượt thêm tổng cộng 400 token. Lượt 1 gửi khoảng 400 token ngữ cảnh, lượt 10 khoảng 4.000 và lượt 50 khoảng 20.000. Cửa sổ ngữ cảnh của mô hình trên API của chúng tôi là 100.000 token, bao gồm cả prompt và completion, vì vậy một phiên rất dài cuối cùng sẽ cần được cắt bớt bất kể vấn đề chi phí có quan trọng hay không. Các giải pháp phổ biến là:
- Giữ nguyên prompt hệ thống và N lượt cuối, và loại bỏ phần giữa.
- Tóm tắt các lượt cũ thành một ghi chú ngắn và gửi ghi chú đó thay vì.
- Lưu trữ các sự kiện dài hạn bên ngoài cuộc hội thoại và chỉ chèn các sự kiện liên quan.
Một con số cụ thể: một prompt hệ thống 1.000 token được gửi kèm theo mỗi trong số 1.000 yêu cầu là 1.000.000 token đầu vào, tương ứng $0,15. Điều này ổn khi xét riêng lẻ. Nhưng một bảng nhân vật 10.000 token được gửi kèm theo mỗi trong số 100.000 yêu cầu là 1.000.000.000 token đầu vào, hoặc $150. Chi phí cố định nhân lên theo khối lượng và sự nhân lên đó là điều bạn cần theo dõi.
Tín dụng trả trước, không phải gói đăng ký
Các nhà cung cấp khác nhau về cách thức thanh toán. Một số tính phí bạn sau khi kết thúc tháng, một số khấu trừ từ số dư trả trước, và một số kết hợp cả hai với các gói hàng tháng. Trên API của chúng tôi thì đơn giản: bạn thêm tín dụng, mức sử dụng sẽ trừ vào nó, và không gì tự động gia hạn. Tín dụng không bao giờ hết hạn. Các yêu cầu thất bại hoặc bị từ chối không được tính phí.
Nạp tiền là bất kỳ số tiền nguyên nào từ $20 đến $500, với khoản thưởng +5% từ $50, +10% từ $100 và +15% từ $200. Vì vậy $100 cho $110 tín dụng, và $200 cho $230. Bạn có thể thanh toán bằng tiền mã hóa (USDT trên TRC20, USDC trên Base). Kết quả thực tế là trường hợp tệ nhất của bạn bị giới hạn bởi số tiền bạn đã nạp: ngay cả khi có lỗi lặp, bạn không thể chi nhiều hơn số dư. Số dư sau mỗi yêu cầu có trong tiêu đề phản hồi X-Balance-USD.
Người dùng mới có thể thử dịch vụ trước. Sau khi đăng nhập, một cú nhấp chuột vào trang khóa API nhận được $0.50 tín dụng dùng thử, có hiệu lực trong 7 ngày, một người một lần, không cần thẻ.
Giới hạn tốc độ là một nút điều chỉnh riêng
Hai API có cùng giá mỗi triệu token vẫn có thể cảm thấy rất khác biệt, vì giới hạn tốc độ quyết định bạn có thể đẩy bao nhiêu dữ liệu qua mỗi phút. Các nhà cung cấp thường đặt giới hạn theo từng cấp tài khoản. Trên API của chúng tôi, một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút, và một khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 mỗi phút. Kích thước tối đa của thân yêu cầu là 8 MB.
Khi bạn vượt quá giới hạn, bạn nhận được HTTP 429. Mã lỗi là rate_limited khi bạn vượt quá yêu cầu mỗi phút và concurrency khi quá nhiều yêu cầu đang được xử lý. Khi quá tải tạm thời, API cũng trả về 429 với tiêu đề Retry-After: 5. Một chi tiết khiến mọi người chú ý: một yêu cầu truyền phát giữ slot đồng thời của nó cho đến khi luồng kết thúc, vì vậy các máy khách chậm đọc token từng cái một có thể lấp đầy 8 slot nhanh hơn mức mà số lượng yêu cầu cho thấy.
Giới hạn thay đổi thông lượng, không phải giá. Nếu bạn cần đẩy một lô lớn, phép tính rất đơn giản: ở mức 300 yêu cầu mỗi phút, 10.000 yêu cầu mất khoảng 34 phút, giả sử mỗi yêu cầu hoàn thành đủ nhanh để giữ trong giới hạn 8 yêu cầu đồng thời.
Áp dụng mô hình cho API này
Phần tương thích OpenAI là thứ làm cho mô hình định giá có thể di chuyển. Bất kỳ SDK OpenAI nào cũng hoạt động một khi bạn thay đổi base URL và khóa, vì vậy mã theo dõi chi phí bạn đã viết cho một nhà cung cấp thường có thể được tái sử dụng. Tập lệnh này đọc dữ liệu sử dụng và định giá một cuộc gọi theo các mức giá của chúng tôi:
from openai import OpenAI
client = OpenAI(
base_url="https://api.openaiapipricing.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Explain what a token is in two sentences."},
],
)
u = resp.usage
input_cost = u.prompt_tokens * 0.15 / 1_000_000
output_cost = u.completion_tokens * 0.50 / 1_000_000
print(f"in={u.prompt_tokens} out={u.completion_tokens} total={input_cost + output_cost:.7f}")
API này là gì, theo các điều khoản ở trên: một mô hình, chỉ văn bản, cửa sổ ngữ cảnh 100.000 token, gọi hàm, chế độ JSON và truyền phát, và các prompt không được sử dụng để huấn luyện. Mô hình được tinh chỉnh để trả lời mà không có sự từ chối nội dung cho việc sử dụng người lớn hợp pháp, và có một giới hạn cứng về nội dung tình dục liên quan đến người chưa thành niên. Đây không phải là bộ định tuyến giữa các nhà cung cấp và không phải là endpoint chính thức của bất kỳ nhà cung cấp nào. Chi tiết để thiết lập có trong hướng dẫn bắt đầu nhanh, và bảng giá đầy đủ nằm trên trang giá cả. Để so sánh chi tiết với các dịch vụ khác, xem trang chi phí API ChatGPT.
Hướng dẫn khác
Câu hỏi và câu trả lời
Mô hình định giá API OpenAI có nghĩa là gì theo cách hiểu đơn giản?
Bạn trả tiền cho token: một tỷ lệ cho token bạn gửi và tỷ lệ cao hơn cho token mô hình trả lại. Tỷ lệ phụ thuộc vào mô hình, và hóa đơn là số token nhân với giá trên mỗi triệu token.
Input hay output đắt hơn?
Đầu ra. Trên API của chúng tôi là $0.50 cho 1 triệu token so với $0.15 cho 1 triệu token đầu vào, đắt hơn khoảng 3,3 lần.
Tại sao một cuộc trò chuyện dài tốn nhiều tiền hơn cho mỗi tin nhắn?
API không nhớ các lượt trước đó, nên mỗi yêu cầu gửi lại lịch sử dưới dạng token đầu vào. Lịch sử càng dài, bạn càng phải trả nhiều tiền cho đầu vào ở mỗi lượt.
Giới hạn tốc độ có thay đổi số tiền bạn phải trả không?
Không. Chúng giới hạn số yêu cầu mỗi phút và số yêu cầu đồng thời. Giá trên mỗi token vẫn giữ nguyên.
API của bạn có giống với API của OpenAI không?
Không. API này tuân theo định dạng yêu cầu của OpenAI nên các SDK hiện có vẫn hoạt động, nhưng nó chạy một mô hình trọng số mở khác do một nhà cung cấp độc lập vận hành.
Khóa của bạn chỉ cách một biểu mẫu
Tạo tài khoản, sao chép khóa, thay đổi base URL. Đó là toàn bộ thiết lập.