01 Что произошло
Разработчики PyTorch из Hugging Face представили улучшения в бэкенде MPS для PyTorch 2.15: поддержка FP8, ускорение декодирования MoE в 5–6.5× и снижение памяти видео-VAE с 270 до 8 ГиБ.
02 Ключевые детали
- PyTorch 2.15 добавляет torch.float8_e4m3fn на MPS: один байт на значение, вдвое меньше FP16 или BF16, с F.scaled_mm поддержкой тензорного построчного масштабирования.
- MoE-модели декодируются в 5-6.5× быстрее: на M3 Ultra с torch.compile Qwen3.6-35B-A3B ускоряется с 9.4 до 61.3 токенов/с, LFM2.5-8B-A1B - с 23.6 до 123.6 токенов/с.
- Декодирование VAE Wan2.2 с мозаичным разбиением снижает пиковую память драйвера с ~270 ГиБ до ~8 ГиБ; энкодер Qwen-Image-2.1 исправлен (PSNR вырос с 10.06 до 29.95 дБ).
- F.linear использует специализированные ядра GEMV для декодирования, softmax ускорен примерно в 8 раз. Добавлены complex64 LU-факторизация публичные MPS-потоки.
03 Почему это важно
Релиз устраняет ключевые узкие места для локального ИИ на Mac. Благодаря прямым ядрам Metal крупные языковые и видеомодели становятся быстрее практичнее на Apple Silicon.
04 Кому полезно
ИИ-разработчики.
Первоисточник