01 Ce qui s’est passé
Le 15 octobre 2026, Meta a dévoilé Muse Spark Open, un modèle multimodal à mélange d'experts avec poids ouverts. Il compte environ 816 milliards de paramètres, dont environ 42 milliards actifs par token, avec une fenêtre de contexte allant jusqu'à un million de tokens. Il accepte texte, images, audio et vidéo en entrée et génère uniquement du texte.
02 Les points essentiels
- Muse Spark Open est un modèle MoE open-weight de Meta avec 816 milliards de paramètres et 42 milliards actifs par token; chaque couche MoE compte 256 experts et le routeur sélectionne 8 par token.
- Le modèle accepte le texte, les images, l'audio et la vidéo, a une fenêtre contextuelle de 1M tokens et ne génère que du texte; Meta affirme qu'il s'agit du modèle open-weight le plus performant des États-Unis.
- Le checkpoint BF16 (~1,5 To) s'exécute sur 4 nœuds de 8 GPU H200; le checkpoint NVFP4 s'exécute sur un seul nœud B200. Le réglage fin avec TRL et LoRA sur les couches d'attention est possible, les experts restant gelés.
- Le raisonnement ne peut pas être désactivé dans Muse Spark Open; le processeur prend en charge les niveaux d'effort low/medium/high/xhigh. Le modèle prend en charge les appels d'outils pour les entrées texte et multimodales.
03 Pourquoi c’est important
Cette publication donne accès aux développeurs à un grand modèle multimodal open-weight optimisé pour le codage agentique, avec des recettes concrètes de déploiement et de réglage fin sur plusieurs moteurs d'inférence.
04 Pour qui c’est utile
Développeurs en IA, développeurs d'agents IA, chercheurs en intelligence artificielle, ingénieurs en apprentissage automatique et développeurs d'interfaces vocales.
Source originale