01 क्या हुआ
15 अक्टूबर, 2026 को Meta ने Muse Spark Open जारी किया - एक ओपन-वेट मल्टीमॉडल मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल। मॉडल में लगभग 816 बिलियन पैरामीटर हैं, जिनमें से लगभग 42 बिलियन प्रति टोकन सक्रिय हैं, और संदर्भ विंडो 1 मिलियन टोकन तक है। यह टेक्स्ट, इमेज, ऑडियो और वीडियो इनपुट स्वीकार करता है और केवल टेक्स्ट आउटपुट उत्पन्न करता है।
02 मुख्य विवरण
- Muse Spark Open — Meta का खुले वज़न वाला MoE मॉडल है जिसमें 816B कुल पैरामीटर और प्रति टोकन 42B सक्रिय हैं; प्रत्येक MoE परत में 256 विशेषज्ञ हैं, राउटर प्रति टोकन 8 का चयन करता है।
- मॉडल टेक्स्ट, इमेज, ऑडियो और वीडियो इनपुट स्वीकार करता है, इसमें 1M टोकन का कॉन्टेक्स्ट विंडो है, और केवल टेक्स्ट आउटपुट उत्पन्न करता है; Meta इसे अमेरिका का सबसे सक्षम खुले वज़न वाला मॉडल बताता है।
- BF16 चेकपॉइंट (~1.5 TB) 4 नोड्स पर (प्रति नोड 8 H200 GPU) चलता है; NVFP4 चेकपॉइंट एकल B200 नोड पर चलता है। TRL और LoRA के साथ अटेंशन लेयर्स पर फाइन-ट्यूनिंग संभव है, जबकि विशेषज्ञ फ्रोजन रहते हैं।
- Muse Spark Open में रीज़निंग को बंद नहीं किया जा सकता; प्रोसेसर low/medium/high/xhigh effort स्तरों का समर्थन करता है। मॉडल टेक्स्ट-ओनली और मल्टीमॉडल इनपुट के लिए टूल कॉलिंग का समर्थन करता है।
03 यह क्यों महत्वपूर्ण है
यह रिलीज़ डेवलपर्स को एक बड़े पैमाने के ओपन-वेट मल्टीमॉडल मॉडल तक पहुंच प्रदान करती है, जो एजेंटिक कोडिंग के लिए अनुकूलित है, जिसमें कई इनफरेंस इंजनों पर ठोस डिप्लॉयमेंट और फाइन-ट्यूनिंग रेसिपीज़ शामिल हैं।
04 किनके लिए महत्वपूर्ण है
एआई डेवलपर्स, एआई एजेंट डेवलपर्स, कृत्रिम बुद्धिमत्ता अनुसंधानकर्ता, मशीन लर्निंग इंजीनियर्स और वॉइस इंटरफ़ेस डेवलपर्स.
मूल स्रोत