01 发生了什么
Hugging Face介绍了如何通过Transformers的from_pretrained API加载Hub上的GGUF模型,调用时需提供模型ID和文件名。打包推理目前仅支持MPS;通过反量化导入GGUF则是另一种独立方式。
02 关键细节
- 运行环境需要Apple Silicon Mac、受已发布的ggml量化内核构建版本支持的PyTorch版本(通常是最新的两个PyTorch版本之一)、兼容的内核,以及下一次发布前的Transformers main分支最新版。
- 打包加载器目前支持Qwen3.5稠密和混合专家(MoE)架构,以及兼容的Qwen3.8检查点。Hugging Face计划逐步扩展对其他架构的支持;打包内核并非所有设备都可用。
- Hugging Face称,Transformers在三个检查点上的表现接近llama.cpp。但两者的测试条件并不相同:Transformers的测量包含prefill,llama-bench报告的则只有decode阶段吞吐量。
03 为什么重要
具备相应Apple Silicon Mac的开发者可以通过熟悉的Transformers API使用部分GGUF检查点,用于实验或模型服务。打包推理目前限于MPS和上述Qwen架构。如果优先考虑高效的本地推理,来源建议使用llama.cpp。
04 适合谁
AI开发人员。
原始来源