ต้นทุน ChatGPT API: วิธีการทำงานและทางเลือกอื่น
โครงสร้างราคาของ ChatGPT API มีการเปลี่ยนแปลงอย่างมาก โดยโทเคนอินพุตและเอาต์พุตมีราคาที่แตกต่างกัน ทำให้การจัดการหน้าต่างบริทมีความสำคัญต่อการควบคุมงบประมาณ สำหรับนักพัฒนาที่ต้องการผลลัพธ์โมเดลดิบโดยไม่มีการกรองเนื้อหา ทางเลือกแบบ open-weight ที่ไม่เซ็นเซอร์เสนอโมเดลการคิดราคาแบบโทเคนที่โปร่งใส ซึ่งมักจะมีราคาต่ำกว่าตัวเลือกที่เป็นกรรมสิทธิ์ ในขณะที่รักษาอินเทอร์เฟซ chat completions มาตรฐานไว้

อัปเดต
- โทเคนอินพุตมีราคาถูกกว่าโทเคนเอาต์พุตอย่างมีนัยสำคัญในโมเดลกรรมสิทธิ์ชั้นนำ ซึ่งเป็นการกลับด้านความไม่สมมาตรของราคาในอดีต
- โมเดลเปิดน้ำหนักที่ไม่เซ็นเซอร์เสนอทางเลือกที่มีราคาตายตัวและคาดเดาได้ ซึ่งหลีกเลี่ยงโอเวอร์เฮดจากการปฏิเสธเนื้อหา
- สตรีมมิงและการเรียกใช้ฟังก์ชันไม่เปลี่ยนต้นทุนโทเคนโดยเนื้อแท้ แต่ส่งผลต่อเวลาแฝงและประสิทธิภาพการใช้โทเคน
- ขนาดหน้าต่างบริกตกำหนดขนาดคำขอที่สามารถรวมกลุ่มได้สูงสุดและต้นทุนรวมต่อการโต้ตอบ
ทำความเข้าใจโครงสร้างต้นทุน API ChatGPT
ภูมิทัศน์ของการกำหนดราคา API LLM ได้วิวัฒนาการจากอัตราต่อโทเคนแบบง่ายเป็นโครงสร้างชั้นที่ซับซ้อนซึ่งขึ้นอยู่กับความสามารถของโมเดล ผู้ให้บริการแบบกรรมสิทธิ์เช่น OpenAI ได้ปรับโมเดลราคา API OpenAI ของพวกเขาหลายครั้ง โดยมักนำรูปแบบที่ราคาถูกกว่าสำหรับการอนุมานที่เร็วขึ้นและชั้นพรีเมียมสำหรับความสามารถในการให้เหตุผลที่สูงขึ้น กลไกหลักยังคงสอดคล้องกัน: คุณจ่ายสำหรับโทเคนที่ประมวลผล แต่อัตราส่วนระหว่างต้นทุนอินพุตและเอาต์พุตแตกต่างกันอย่างมากระหว่างรุ่นโมเดล
สำหรับนักพัฒนา หมายความว่าเพียงประมาณการต้นทุนโดยนับจำนวนโทเคนทั้งหมดไม่ถูกต้องอีกต่อไป คุณต้องแยกแยะระหว่างต้นทุนในการอ่านบริบท (อินพุต) และต้นทุนในการสร้างคำตอบ (เอาต์พุต) บริการผู้ให้บริการ API LLM หลายแห่งเสนออัตราที่ต่ำกว่าสำหรับโมเดลที่ปรับให้เหมาะสมสำหรับความเร็ว ซึ่งอาจเสียความแม่นยำบ้างแต่ลดต้นทุน API ChatGPT สำหรับงานปริมาณมากและเรียบง่ายได้อย่างมาก การเข้าใจชั้นเหล่านี้เป็นขั้นตอนแรกในการจัดทำงบประมาณอย่างมีประสิทธิภาพ
ราคาโทเคนอินพุตเทียบกับเอาต์พุต
การเปลี่ยนแปลงที่สำคัญที่สุดอย่างหนึ่งในการอัปเดตราคา API OpenAI ล่าสุดคือความแตกต่างระหว่างต้นทุนโทเคนอินพุตและเอาต์พุต ในอดีต โทเคนอินพุตและเอาต์พุตมีราคาคล้ายกัน วันนี้ โทเคนอินพุตมักมีราคาเพียงเศษเสี้ยวของต้นทุนโทเคนเอาต์พุต ตัวอย่างเช่น โมเดลอาจเรียกเก็บ $0.50 ต่อโทเคนอินพุตหนึ่งล้านตัว แต่ $3.00 ต่อโทเคนเอาต์พุตหนึ่งล้านตัว ความไม่สมมาตรนี้เอื้อต่อพรอมต์ที่กระชับแต่มีคำตอบที่ละเอียด
เมื่อประเมินตัวเลือกLLM ไม่เซ็นเซอร์ที่ดีที่สุด อัตราส่วนนี้มีความสำคัญน้อยกว่าหากกรณีการใช้งานของคุณเกี่ยวข้องกับการสร้างข้อความปริมาณมาก อย่างไรก็ตาม สำหรับแอปพลิเคชันแชทมาตรฐานที่มีความยาวเอาต์พุตที่ควบคุมได้ ต้นทุนอินพุตจะแทบไม่มีนัยสำคัญ ในทางกลับกัน ทางเลือก API แบบไม่เซ็นเซอร์มักรักษาอัตราส่วนที่สมดุลหรือกลับด้าน ซึ่งให้ต้นทุนที่คาดเดาได้ไม่ว่าจะเป็นประเภทเนื้อหาใด ความสามารถในการคาดเดานี้มีความสำคัญอย่างยิ่งสำหรับแอปพลิเคชันที่มีความยาวคำตอบแปรผัน
ผลกระทบของหน้าต่างบริบทต่อต้นทุน
หน้าต่างบริกตกำหนดปริมาณข้อความสูงสุดที่โมเดลสามารถประมวลผลได้ในคำขอเดียว หน้าต่างบริบทที่ใหญ่กว่าอนุญาตให้ส่งคำแนะนำและประวัติที่ครอบคลุมมากขึ้นแต่เพิ่มจำนวนโทเคนอินพุต หากคุณส่งพรอมต์ขนาด 100k โทเคนไปยังโมเดลที่มีหน้าต่างบริกต 128k คุณต้องจ่ายสำหรับโทเคน 100k เหล่านั้นไม่ว่าโมเดลจะใช้ประโยชน์จากโทเคนเหล่านั้นได้อย่างมีประสิทธิภาพหรือไม่ก็ตาม
การกำหนดราคา API LLM ขยายตามจำนวนโทเคน ดังนั้นการจัดการการใช้งานหน้าต่างบริกตจึงเป็นกลไกควบคุมต้นทุนโดยตรง นักพัฒนามักตัดประวัติหรือสรุปการโต้ตอบก่อนหน้าเพื่อรักษาโทเคนอินพุตให้ต่ำ โมเดลที่ไม่เซ็นเซอร์บางตัวเสนอหน้าต่างบริกตขนาดใหญ่ (เช่น 100k หรือมากกว่า) ในอัตราตายตัว ซึ่งอนุญาตให้ประมวลผลเอกสารขนาดใหญ่ได้อย่างกว้างขวางโดยไม่ต้องเสียค่าปรับจากการเพิ่มขึ้นของต้นทุนอินพุตตามสัดส่วนที่เห็นในโมเดลกรรมสิทธิ์พรีเมียมบางตัว ซึ่งทำให้งานบริบทขนาดใหญ่มีเศรษฐกิจมากกว่าเมื่อใช้ตัวเลือกแบบเปิดน้ำหนัก
ต้นทุนสตรีมมิงเทียบกับไม่สตรีมมิง
การตอบสนองแบบสตรีมผ่าน Server-Sent Events (SSE) ไม่เปลี่ยนราคาโทเคน พื้นฐาน ไม่ว่าคุณจะสตรีมการตอบสนองหรือรอการเสร็จสิ้นเต็มรูปแบบ โมเดลจะประมวลผลโทเคนเดียวกันและสร้างเอาต์พุตเดียวกัน ต้นทุนจึงเท่ากัน อย่างไรก็ตาม สตรีมมิงส่งผลต่อประสบการณ์ผู้ใช้และเวลาแฝงที่รับรู้
คำขอแบบไม่สตรีมมิงจะเปิดการเชื่อมต่อไว้จนกว่าคำตอบทั้งหมดจะพร้อม ซึ่งอาจนำไปสู่ความเสี่ยงเรื่องเวลาหมดเขตสำหรับผลลัพธ์ที่ยาว การสตรีมมิงช่วยให้สามารถแสดงผลผลลัพธ์บางส่วนได้ทันที จากมุมมองด้านต้นทุน การเลือกขึ้นอยู่กับประสบการณ์ผู้ใช้เพียงอย่างเดียว ผู้ให้บริการบางรายคิดราคาแตกต่างกันระหว่างสตรีมมิงและแบบไม่สตรีมมิง แต่การนำ chat completions api มาตรฐานส่วนใหญ่ รวมถึงแบบที่เราโฮสต์ มาใช้ จะคิดค่าโทเคนเหมือนกันเสมอ ควรตรวจสอบข้อมูลนี้ในเอกสารเฉพาะของผู้ให้บริการ
โอเวอร์เฮดการเรียกใช้ฟังก์ชัน
การเรียกใช้ฟังก์ชันแนะนำโทเคนเพิ่มเติมเข้าสู่การสนทนา เมื่อโมเดลตัดสินใจเรียกใช้ฟังก์ชัน มันจะสร้างโครงสร้าง JSON ที่อธิบายฟังก์ชันและอาร์กิวเมนต์ของมัน โทเคนเหล่านี้นับเป็นโทเคนเอาต์พุต นอกจากนี้ ระบบต้องรวมคำจำกัดความของฟังก์ชันไว้ในพรอมต์ ซึ่งนับเป็นโทเคนอินพุต
สิ่งนี้สร้างความเพิ่มขึ้นของต้นทุนสองทาง: โทเคนอินพุตมากขึ้นสำหรับสคีมาของฟังก์ชัน และโทเคนเอาต์พุตมากขึ้นสำหรับการเรียกใช้ฟังก์ชัน สำหรับเอเจนต์ที่ซับซ้อนที่มีฟังก์ชันจำนวนมาก โอเวอร์เฮดนี้สามารถกลายเป็นเรื่องสำคัญได้ เมื่อเปรียบเทียบLLM ไม่เซ็นเซอร์ที่ดีที่สุด กับโมเดลกรรมสิทธิ์ ให้พิจารณาว่าความแม่นยำในการเรียกใช้ฟังก์ชันของโมเดลที่ไม่เซ็นเซอร์คุ้มค่ากับโอเวอร์เฮดโทเคนหรือไม่ การเรียกใช้ฟังก์ชันที่ไม่สอดคล้องกันสามารถนำไปสู่การเรียกซ้ำ ซึ่งคูณต้นทุน โมเดลกรรมสิทธิ์มักมีระบบนิเวศการเรียกใช้ฟังก์ชันที่เจริญรุ่งเรืองกว่า แต่มีราคาสูงกว่า
เปรียบเทียบ: ChatGPT เทียบกับโมเดลที่ไม่เซ็นเซอร์
โมเดลกรรมสิทธิ์เช่น GPT-4o และ Claude มีความสามารถในการให้เหตุผลสูงแต่มาพร้อมกับการกรองเนื้อหาที่เข้มงวดและต้นทุนที่สูงกว่า ในทางตรงกันข้าม โมเดลที่ไม่เซ็นเซอร์ได้รับการปรับแต่งเพื่อตอบคำถามที่ขัดแย้ง ผู้ใหญ่ หรือหัวข้อย่อยโดยไม่มีการปฏิเสธ ซึ่งมีคุณค่าสำหรับการเขียนเชิงสร้างสรรค์ การสวมบทบาท หรือการวิจัยราคา API OpenAI สำหรับทางเลือกที่ไม่เซ็นเซอร์เหล่านี้มักเรียบง่ายกว่า: อัตราตายตัวต่อโทเคนโดยไม่มีค่าธรรมเนียมซ่อนสำหรับการให้เหตุผลหรือคุณสมบัติพรีเมียม
ตัวอย่างเช่น API ที่เราโฮสต์เสนอโมเดลการกำหนดราคาที่ตรงไปตรงมา: $0.15 ต่อโทเคนอินพุตหนึ่งล้านตัว และ $0.50 ต่อโทเคนเอาต์พุตหนึ่งล้านตัว สิ่งนี้มีความสามารถในการแข่งขันกับโมเดลกรรมสิทธิ์ระดับกลางจำนวนมาก ความแตกต่างหลักไม่ใช่เพียงราคา แต่คือพฤติกรรม โมเดลที่ไม่เซ็นเซอร์ไม่ปฏิเสธเนื้อหาผู้ใหญ่ที่ถูกต้องตามกฎหมาย ซึ่งอาจเป็นคุณลักษณะหรือจุดบกพร่องขึ้นอยู่กับกรณีการใช้งานของคุณ หากคุณต้องการเอาต์พุตดิบโดยไม่มีการกรองการตรวจสอบ API แบบไม่เซ็นเซอร์ให้เส้นทางที่ตรงไปตรงมาและมีประสิทธิภาพด้านต้นทุน
การปรับให้เหมาะสมการใช้งานโทเคนสำหรับระบบจริง
เพื่อลดค่าใช้จ่ายการกำหนดราคา API LLM นักพัฒนาควรใช้วิศวกรรมพรอมต์ที่มีประสิทธิภาพด้านโทเคน ซึ่งรวมถึงการใช้พรอมต์ระบบเพื่อกำหนดพฤติกรรมแทนการทำซ้ำคำแนะนำในทุกข้อความของผู้ใช้ การตัดประวัติที่ไม่เกี่ยวข้อง และการใช้เทคนิคการบีบอัดสำหรับเอกสารยาว นอกจากนี้ การเลือกชั้นโมเดลที่เหมาะสมก็สำคัญเช่นกัน หากไม่จำเป็นต้องมีการให้เหตุผลสูง ให้ใช้โมเดลที่ราคาถูกที่สุดที่มีอยู่
การเพิ่มประสิทธิภาพอีกอย่างหนึ่งคือการรวมกลุ่มคำขอเมื่อเป็นไปได้ ซึ่งขึ้นอยู่กับขีดจำกัดความพร้อมใช้งานพร้อมกันของ API สำหรับ API ของเรา แต่ละคำขอจะถูกประมวลผลแยกกัน ดังนั้นการรวมกลุ่มจึงจัดการที่ระดับแอปพลิเคชัน โดยการลดจำนวนโทเคนเฉลี่ยต่อคำขอ คุณจะลดต้นทุนของคุณต่อผู้ใช้โดยตรง การตรวจสอบการใช้โทเคนตามเอนด์พอยต์เป็นระยะสามารถเปิดเผยความไม่มีประสิทธิภาพและแนะนำการเพิ่มประสิทธิภาพเพิ่มเติม
ขีดจำกัดอัตราและความพร้อมใช้งานพร้อมกัน
ขีดจำกัดอัตรากำหนดจำนวนคำขอที่คุณสามารถส่งต่อนาที โมเดลกรรมสิทธิ์มักมีขีดจำกัดอัตราที่เข้มงวดซึ่งสามารถจำกัดแอปพลิเคชันที่มีการจราจรสูง ส่งผลให้เวลาแฝงเพิ่มขึ้นเมื่อคำขอเข้าคิวการกำหนดราคา API LLM ไม่ได้สะท้อนต้นทุนของการรอการตอบสนองเนื่องจากข้อจำกัดเสมอไป ข้อกำหนดความพร้อมใช้งานพร้อมกันสูงอาจจำเป็นต้องซื้อแผนชั้นที่สูงขึ้นที่มีขีดจำกัดอัตราที่ดีกว่า
API ของเรารองรับ 300 คำขอต่อนาทีต่อคีย์ ซึ่งเพียงพอสำหรับแอปพลิเคชันขนาดปานกลางส่วนใหญ่ หากเกินขีดจำกัดนี้ คำขอจะถูกปฏิเสธด้วยข้อผิดพลาด 429 นี่คือขีดจำกัดที่โปร่งใสที่อนุญาตให้ปรับขนาดได้อย่างคาดการณ์ได้ ต่างจากผู้ให้บริการบางรายที่ซ่อนขีดจำกัดอัตราหรือเรียกเก็บเงินเพิ่มสำหรับความจุแบบ burst โมเดลของเรารวมขีดจำกัดที่เอื้อเฟื้อไว้ในโครงสร้างการจ่ายตามการใช้งานพื้นฐาน เพื่อให้แน่ใจว่าการประมาณการ chatgpt api cost ของคุณยังคงถูกต้องแม้ในช่วงการใช้งานสูงสุด
คู่มือเพิ่มเติม
ถาม-ตอบ
สตรีมมิงเปลี่ยนต้นทุนโทเคนหรือไม่?
ไม่ สตรีมมิงไม่เปลี่ยนต้นทุนโทเคน ไม่ว่าคุณจะรับคำตอบแบบสตรีมหรือบล็อกเดียว โมเดลจะประมวลผลและสร้างโทเคนจำนวนเท่ากัน ต้นทุนจึงเท่ากันสำหรับทั้งสองวิธี
ขนาดหน้าต่างบริทส่งผลต่อราคาอย่างไร
ขนาดของหน้าต่างบริทกำหนดจำนวนโทเคนอินพุตสูงสุดที่คุณสามารถส่งได้ หน้าต่างบริทที่ใหญ่ขึ้นอนุญาตให้ส่งข้อมูลอินพุตได้มากขึ้น ซึ่งทำให้จำนวนโทเคนอินพุตเพิ่มขึ้นและส่งผลต่อต้นทุน อย่างไรก็ตาม ราคาต่อโทเคนจะคงที่ไม่ว่าจะใช้หน้าต่างบริทขนาดใดก็ตาม
มีค่าธรรมเนียมซ่อนสำหรับการเรียกใช้ฟังก์ชันหรือไม่?
การเรียกใช้ฟังก์ชันเพิ่มโอเวอร์เฮดในรูปของโทเคนอินพุตเพิ่มเติม (สำหรับคำจำกัดความของฟังก์ชัน) และโทเคนเอาต์พุต (สำหรับ JSON การเรียกใช้ฟังก์ชัน) ไม่มีค่าธรรมเนียมแยกต่างหาก แต่จำนวนโทเคนเพิ่มขึ้น ซึ่งทำให้ต้นทุนรวมเพิ่มขึ้น
ขีดจำกัดอัตราสำหรับ API แบบไม่เซ็นเซอร์คือเท่าใด?
ขีดจำกัดอัตราคือ 300 คำขอต่อนาทีต่อคีย์ API นี่คือขีดจำกัดแข็งที่บังคับโดยเซิร์ฟเวอร์ หากคุณเกินขีดจำกัดนี้ คำขอจะถูกปฏิเสธด้วยรหัสสถานะ 429 จนกว่าอัตราจะรีเซ็ต
คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว
สร้างบัญชี คัดลอกคีย์ เปลี่ยน URL ฐาน นั่นคือการตั้งค่าทั้งหมด