01 क्या हुआ
OpenAI ने GPT-6 मॉडल परिवार के लिए एक बेहतर कैशिंग सिस्टम पेश किया है। यह अपडेट संदर्भ के पुन: उपयोग को अनुकूलित करने और अनुरोध प्रसंस्करण में प्रदर्शन बढ़ाने पर केंद्रित है।
02 मुख्य विवरण
- डेवलपर्स को 30 मिनट की अवधि के भीतर सामान्य उपसर्गों का पुन: उपयोग करने पर कैश किए गए इनपुट टोकन पर 90% तक की छूट मिलती है।
- GPT-6 आर्किटेक्चर कैश को रीसेट किए बिना अनुरोधों के बीच मॉडल के 'तर्क' स्तर को बदलने की अनुमति देता है।
- एक नई प्रीवार्मिंग सुविधा प्रतिक्रिया विलंबता को कम करने के लिए पहले से संदर्भ तैयार करती है।
03 यह क्यों महत्वपूर्ण है
ये परिवर्तन लंबे या दोहराए जाने वाले डेटा को संसाधित करने वाली प्रणालियों की लागत और गति को अनुकूलित करते हैं। तर्क पैरामीटर सेटिंग का लचीलापन एजेंट परिदृश्यों के साथ काम को सरल बनाता है।
04 किनके लिए महत्वपूर्ण है
AI डेवलपर्स, AI एजेंट डेवलपर्स, कॉर्पोरेट AI प्लेटफॉर्म डेवलपर्स और AI इंटीग्रेशन विशेषज्ञ।
मूल स्रोत