01 क्या हुआ
Cohere के शोध के अनुसार, लीड मॉडल Sol और 16 कम लागत वाले Luna प्लानिंग मॉडल की टीम ProgramBench पर 61.8% रिवॉर्ड स्कोर तक पहुँची। केवल Sol मॉडल वाली टीम का स्कोर 63.2% था। लागत $510 से घटकर $155 हुई, यानी 70% की कमी।
02 मुख्य विवरण
- लीड मॉडल Sol और 16 कम लागत वाले Luna प्लानिंग मॉडल ProgramBench पर 61.8% रिवॉर्ड स्कोर तक पहुँचे, जबकि केवल Sol वाली टीम का स्कोर 63.2% था। लागत $510 से घटकर $155 हुई।
- केवल अन्वेषण और योजना को सौंपने से तीनों चरणों को सौंपने के समान प्रदर्शन मिलता है, लेकिन आधी लागत पर।
- योजना कार्यान्वयन की तुलना में लागत-कुशलता में लगभग दोगुनी है: प्रति $100 पर 3.4 पुरस्कार अंक बनाम 1.7।
- प्लानिंग मॉडल की संख्या 2 से 16 करने पर रिवॉर्ड स्कोर 59.6% से बढ़कर 61.8% हुआ। कार्यान्वयन और सत्यापन करने वाले वर्कर मॉडल की संख्या 4 तक बढ़ाने पर ही सुधार मिला; उसके बाद प्रदर्शन घटा।
03 यह क्यों महत्वपूर्ण है
ProgramBench पर Cohere के परिणामों में लीड मॉडल Sol और 16 Luna प्लानिंग मॉडल की टीम ने 70% कम लागत ($155 बनाम $510) पर 61.8% रिवॉर्ड स्कोर पाया। केवल Sol वाली टीम का स्कोर 63.2% था, इसलिए कम लागत वाले विकल्प का स्कोर थोड़ा कम रहा। संगठनों को अपने कार्यों पर लागत और गुणवत्ता का संतुलन जाँचना चाहिए; लाभ तब सबसे स्पष्ट है जब आवश्यकताओं का पता लगाना मुख्य बाधा हो।
04 किनके लिए महत्वपूर्ण है
इंजीनियरिंग टीमें और AI एजेंट डेवलपर्स।
मूल स्रोत