01 क्या हुआ
Microsoft Research Asia ने Harnessed Agentic RL प्रशिक्षण प्रतिमान पेश किया है और पूरी तरह से पुनर्निर्मित Agent Lightning v1.0 को ओपन-सोर्स किया है। एक OpenAI-संगत प्रॉक्सी एजेंट को मॉडल से जोड़ता है: परिनियोजित हार्नेस कोड अपरिवर्तित रहता है, केवल मॉडल एंडपॉइंट बदलता है। प्रॉक्सी प्रॉम्प्ट, प्रतिक्रियाएँ और लॉग प्रायिकताएँ रिकॉर्ड करता है।
02 मुख्य विवरण
- Microsoft Research के अनुसार, फ्रेमवर्क लगभग 3,500 लाइनों का कोड है और इसमें तीन मुख्य घटक शामिल हैं: API Gateway, Rollout Controller और verl पर आधारित Customized Trainer।
- Microsoft रिपोर्ट करता है कि अकेले RL प्रशिक्षण ने SWE-bench Verified पर Qwen3.5-9B मॉडल के Pass@1 को 41.8% से बढ़ाकर 56.4% कर दिया, जो 14.6 प्रतिशत अंकों की वृद्धि है। पाइपलाइन ने SWE-smith, mini-SWE-agent और लगभग 6,000 प्रशिक्षण नमूनों का उपयोग किया; Microsoft ने परिणाम का मूल्यांकन किया।
- Microsoft के प्रयोगों में, Collocated Async RL, जिसमें रोलआउट और मॉडल अपडेट एक ही GPU साझा करते हैं, ने सिंक्रोनस RL की तुलना में एंड-टू-एंड प्रशिक्षण में लगभग 2 गुना तेजी हासिल की और पारंपरिक एसिंक्रोनस RL की तुलना में कम GPU का उपयोग किया।
- रोलआउट स्व-प्रबंधित क्लस्टर, क्लाउड Kubernetes या स्थानीय बुनियादी ढांचे पर मानक Kubernetes जॉब के रूप में चलाए जाते हैं, बिना Modal Sandbox और E2B जैसे भुगतान वाले सैंडबॉक्स की आवश्यकता के। उपयोग मूल्य निर्दिष्ट नहीं है; फ्रेमवर्क को ओपन-सोर्स के रूप में वर्णित किया गया है।
03 यह क्यों महत्वपूर्ण है
टीमें पहले से उपयोग किए जा रहे हार्नेस को RL प्रशिक्षण से जोड़ सकती हैं और Kubernetes पर जॉब चला सकती हैं। SWE-bench Verified परिणाम Microsoft का एक विशिष्ट पाइपलाइन, मॉडल और डेटासेट के लिए मूल्यांकन है; यह अन्य कॉन्फ़िगरेशन के लिए समान परिणाम स्थापित नहीं करता है।
04 किनके लिए महत्वपूर्ण है
AI एजेंट डेवलपर्स, मशीन लर्निंग इंजीनियर और इन्फ्रास्ट्रक्चर इंजीनियर।
मूल स्रोत