01 Was passiert ist
Hugging Face erklärt, wie sich GGUF-Modelle vom Hub über die Transformers-API from_pretrained laden lassen: Dazu werden Modell-ID und Dateiname angegeben. Die gepackte Inferenz ist vorerst nur mit MPS möglich; der Import von GGUF durch Dequantisierung bleibt eine separate Option.
02 Die wichtigsten Details
- Voraussetzung sind ein Mac mit Apple Silicon, eine von den veröffentlichten ggml-Quantisierungskernel-Builds unterstützte PyTorch-Version (in der Regel eine der beiden neuesten PyTorch-Versionen), kompatible Kernel und bis zum nächsten Release die aktuelle Transformers-Version aus dem main-Zweig.
- Der gepackte Loader unterstützt derzeit die Dense- und MoE-Architekturen von Qwen3.5 sowie kompatible Qwen3.8-Checkpoints. Hugging Face will die Unterstützung weiterer Architekturen schrittweise ausbauen; gepackte Kernel sind nicht auf jedem Gerät verfügbar.
- Laut Hugging Face lag Transformers bei drei Checkpoints nahe an llama.cpp. Die Messungen erfolgten jedoch nicht unter identischen Bedingungen: Die Transformers-Messung berücksichtigt Prefill, llama-bench dagegen nur den Durchsatz beim Decoding.
03 Warum das wichtig ist
Entwickler mit einem geeigneten Mac mit Apple Silicon können ausgewählte GGUF-Checkpoints über die vertraute Transformers-API für Experimente oder den Betrieb nutzen. Die gepackte Inferenz ist auf MPS und die genannten Qwen-Architekturen beschränkt. Wenn effiziente lokale Inferenz Vorrang hat, empfiehlt die Quelle llama.cpp.
04 Für wen es relevant ist
KI-Entwickler.