01 क्या हुआ
Hugging Face में PyTorch टीम ने PyTorch 2.15 के MPS बैकएंड में सुधारों का विवरण दिया, जिसमें FP8 टेंसर, MoE डिकोडिंग में 5–6.5× तेजी और 270 GiB से 8 GiB तक वीडियो VAE मेमोरी में कमी शामिल है।
02 मुख्य विवरण
- PyTorch 2.15 MPS पर torch.float8_e4m3fn FP8 tensors जोड़ता है: प्रति मान एक बाइट, FP16/BF16 के आधे स्टोरेज, F.scaled_mm tensorwise व rowwise स्केलिंग के साथ।
- MoE मॉडल 5–6.5× तेज डिकोड करते हैं: M3 Ultra पर torch.compile के साथ Qwen3.6-35B-A3B 9.4→61.3 tokens/s, LFM2.5-8B-A1B 23.6→123.6 tokens/s।
- Wan2.2 के tiled VAE डिकोड में ड्राइवर मेमोरी ~270 GiB से ~8 GiB पर आ गई; Qwen-Image-2.1 VAE एनकोडर अब CPU से मेल खाता है (PSNR 10.06→29.95 dB)।
- F.linear डिकोडिंग के लिए विशेष GEMV कर्नेल का उपयोग करता है, softmax ~8× तेज, complex64 LU फैक्टराइजेशन और MPS streams अब पाइथन से नियंत्रित।
03 यह क्यों महत्वपूर्ण है
यह रिलीज़ Mac पर डिवाइस-स्तरीय AI के प्रमुख अड़चनों को दूर करती है। नए Metal कर्नेल बड़े भाषा और वीडियो मॉडल को Apple Silicon पर अधिक व्यावहारिक बनाते हैं।
04 किनके लिए महत्वपूर्ण है
एआई डेवलपर्स.
मूल स्रोत