Transformers 库新增 GGUF 格式模型支持

01 发生了什么

Transformers 库现已支持原生运行 GGUF 格式模型，开发者可通过标准 API 在本地直接加载并使用量化检查点。

02 关键细节

• 用户可通过 from_pretrained 接口指定文件名来加载 GGUF 格式模型。
• 该库复用了 ggml 内核，以实现与 llama.cpp 相当的推理性能。
• 目前的初步支持主要针对 Apple Silicon 芯片上的 Qwen3.5 模型。

03 为什么重要

此更新降低了本地部署量化模型的门槛，使开发者能够在不改变工具链的情况下，优化硬件内存使用。

04 适合谁

机器学习工程师及软件开发人员。