01 Was passiert ist
Das PyTorch-Team bei Hugging Face stellte Verbesserungen am MPS-Backend von PyTorch 2.15 vor: FP8-Unterstützung, 5–6,5× schnellere MoE-Decodierung und Reduzierung des Videospeichers von 270 auf 8 GiB.
02 Die wichtigsten Details
- PyTorch 2.15 führt float8_e4m3fn-Tensoren auf MPS ein: ein Byte pro Wert, halber Speicher von FP16 oder BF16, mit F.scaled_mm für tensor- und zeilenweise Skalierung.
- MoE-Modelle decodieren 5–6,5× schneller: auf M3 Ultra mit torch.compile erreicht Qwen3.6-35B-A3B 61,3 Tokens/s (vorher 9,4), LFM2.5-8B-A1B 123,6 Tok/s.
- Wan2.2 VAE-Decodierung (tiled) senkt Treiberspeicher von ~270 GiB auf ~8 GiB; Qwen-Image-2.1 VAE-Encoder korrigiert (PSNR 10,06→29,95 dB).
- F.linear nutzt GEMV-Kernel, Softmax ~8× schneller, complex64 LU-Faktorisierung, öffentliche MPS-Streams und weitere native Operationen auf MPS.
03 Warum das wichtig ist
Das Update beseitigt zentrale Engpässe für lokale KI auf dem Mac. Dedizierte Metal-Kernel machen große Sprach- und Videomodelle auf Apple Silicon deutlich praktikabler.
04 Für wen es relevant ist
KI-Entwickler.
Originalquelle