01 क्या हुआ
Cohere ने CALIBER पेश किया है, एक विधि जो रीज़निंग मॉडलों को रीज़निंग से पहले और बाद में अपने कॉन्फ़िडेंस का अनुमान लगाने का प्रशिक्षण देती है। इससे कॉन्फ़िडेंस अनुमानों की विश्वसनीयता बढ़ती है, लेकिन अभी इन अपडेट के आधार पर निर्णय-क्षमता सक्षम नहीं होती।
02 मुख्य विवरण
- CALIBER एक रीज़निंग मॉडल को दो कॉन्फ़िडेंस अनुमान उत्पन्न करने के लिए प्रशिक्षित करता है – एक रीज़निंग से पहले और एक उत्तर के बाद – और दोनों को एक ही प्रतिक्रिया में रिपोर्ट करता है।
- BigMathDigits पर, 7B मॉडल अपेक्षित कैलिब्रेशन एरर को 52.5% घटाकर 0.028 कर देता है, जो सर्वश्रेष्ठ एकल-कॉन्फिडेंस बेसलाइन से बेहतर है।
- बिना अतिरिक्त प्रशिक्षण के, 7B मॉडल GPQA (−26.8%), TriviaQA (−32.2%), और SimpleQA (−36.2%) पर कैलिब्रेशन एरर कम करता है।
- Cohere ने यह परीक्षण नहीं किया कि कॉन्फ़िडेंस अपडेट किसी मॉडल को सत्यापित करने या परहेज़ करने का निर्णय लेने में मदद करते हैं; CALIBER केवल अनुमान प्रदान करता है।
03 यह क्यों महत्वपूर्ण है
विश्वसनीय कॉन्फ़िडेंस अनुमान उपयोगकर्ताओं को यह तय करने में मदद करते हैं कि मॉडल के आउटपुट पर भरोसा करना है या उसे सत्यापित करना है, जो उच्च-जोखिम वाले परिदृश्यों में AI तैनात करने के लिए महत्वपूर्ण है।
04 किनके लिए महत्वपूर्ण है
एआई डेवलपर्स, शोधकर्ता और मशीन लर्निंग इंजीनियर्स.
मूल स्रोत