01 发生了什么

Hugging Face 的 PyTorch 团队详细介绍了 PyTorch 2.15 在 MPS 后端的改进,包括 FP8 张量、MoE 解码 5-6.5 倍速提升,以及视频 VAE 内存从 270 GiB 降至 8 GiB。

02 关键细节

  • PyTorch 2.15 为 MPS 支持 float8_e4m3fn 张量:每值一个字节,存储量减半;支持 F.scaled_mm 张量级和行级缩放。
  • MoE 模型解码 5-6.5 倍速:M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 升至 61.3 令牌/秒,LFM2.5-8B-A1B 从 23.6 升至 123.6 令牌/秒。
  • Wan2.2 的 tiled VAE 解码内存从 ~270 GiB 降至 ~8 GiB;Qwen-Image-2.1 VAE 图像修复 (PSNR 从 10.06 升至 29.95 dB)。
  • F.linear 针对单行解码使用专用 GEMV 核,softmax 约 8 倍速;complex64 LU 分解、公共 MPS 流及更多本机运算。

03 为什么重要

本次更新通过专有 Metal 内核解决 AI 在 Mac 上的关键瓶颈,使大型语言和视频模型在 Apple Silicon 上更实用。

04 适合谁

AI开发人员。

原始来源
Hugging Face