01 Was passiert ist
Am 15. Oktober 2026 veröffentlichte Meta Muse Spark Open, ein multimodales Mixture-of-Experts-Modell mit offenen Gewichten. Es hat rund 816 Milliarden Parameter, etwa 42 Milliarden aktive pro Token und ein Kontextfenster von bis zu einer Million Token. Es nimmt Text, Bilder, Audio und Video entgegen und gibt nur Text aus.
02 Die wichtigsten Details
- Muse Spark Open ist ein Open-Weight-MoE-Modell von Meta mit 816 Milliarden Gesamtparametern und 42 Milliarden aktiven pro Token; jede MoE-Schicht hat 256 Experten, der Router wählt 8 pro Token.
- Das Modell nimmt Text, Bilder, Audio und Video als Eingabe, hat ein 1-Million-Token-Kontextfenster und gibt nur Text aus; Meta nennt es das leistungsstärkste US-Open-Weight-Modell.
- Der BF16-Checkpoint mit etwa 1,5 TB läuft auf 4 Knoten mit 8 H200 GPUs; der NVFP4-Checkpoint läuft auf einem einzelnen B200-Knoten. Feintuning mit TRL und LoRA an den Aufmerksamkeitsschichten ist möglich, die Experten bleiben gefroren.
- Reasoning kann in Muse Spark Open nicht abgeschaltet werden; der Prozessor unterstützt die Einstellungen low/medium/high/xhigh.
03 Warum das wichtig ist
Dieser Release gibt Entwicklern Zugang zu einem großflächigen Open-Weight-Modell für agentisches Programmieren, mit konkreten Rezepten für Bereitstellung und Feintuning über mehrere Inferenz-Engines.
04 Für wen es relevant ist
KI-Entwickler, Entwickler von KI-Agenten, Forscher im Bereich der künstlichen Intelligenz, Ingenieure für maschinelles Lernen und Entwickler von Sprachschnittstellen.
Originalquelle