01 发生了什么
2026年10月15日,Meta发布了Muse Spark Open,这是一个开源权重的多模态混合专家模型,总参数约8160亿,每token活跃约420亿,上下文窗口达100万token,接受文本、图像、音频和视频输入,仅生成文本输出。
02 关键细节
- Muse Spark Open是Meta的开源权重MoE模型,总参数约8160亿、每token活跃约420亿;每层MoE有256个专家,路由器为每个token选择8个。
- 该模型接受文本、图像、音频和视频输入,上下文窗口达100万token,仅输出文本;Meta称其为美国最强大的开源权重模型。
- BF16检查点约1.5TB,需要4个节点×8块H200 GPU;NVFP4检查点可在单个B200节点上运行;可使用TRL和LoRA微调注意力层,专家保持冻结。
- Muse Spark Open中推理不能关闭;处理器支持努力级别low/medium/high/xhigh。模型支持文本和多模态工具调用。
03 为什么重要
该发布为开发者提供了面向编码和智能体任务的大型开源多模态模型,并附有针对多种推理引擎的具体部署和微调方案。
04 适合谁
AI开发人员、人工智能代理开发人员、人工智能研究人员、机器学习工程师及语音界面开发人员。
原始来源