01 Was passiert ist

Hugging Face erklärt, wie sich GGUF-Modelle vom Hub über die Transformers-API from_pretrained laden lassen: Dazu werden Modell-ID und Dateiname angegeben. Die gepackte Inferenz ist vorerst nur mit MPS möglich; der Import von GGUF durch Dequantisierung bleibt eine separate Option.

02 Die wichtigsten Details

  • Voraussetzung sind ein Mac mit Apple Silicon, eine von den veröffentlichten ggml-Quantisierungskernel-Builds unterstützte PyTorch-Version (in der Regel eine der beiden neuesten PyTorch-Versionen), kompatible Kernel und bis zum nächsten Release die aktuelle Transformers-Version aus dem main-Zweig.
  • Der gepackte Loader unterstützt derzeit die Dense- und MoE-Architekturen von Qwen3.5 sowie kompatible Qwen3.8-Checkpoints. Hugging Face will die Unterstützung weiterer Architekturen schrittweise ausbauen; gepackte Kernel sind nicht auf jedem Gerät verfügbar.
  • Laut Hugging Face lag Transformers bei drei Checkpoints nahe an llama.cpp. Die Messungen erfolgten jedoch nicht unter identischen Bedingungen: Die Transformers-Messung berücksichtigt Prefill, llama-bench dagegen nur den Durchsatz beim Decoding.

03 Warum das wichtig ist

Entwickler mit einem geeigneten Mac mit Apple Silicon können ausgewählte GGUF-Checkpoints über die vertraute Transformers-API für Experimente oder den Betrieb nutzen. Die gepackte Inferenz ist auf MPS und die genannten Qwen-Architekturen beschränkt. Wenn effiziente lokale Inferenz Vorrang hat, empfiehlt die Quelle llama.cpp.

04 Für wen es relevant ist

KI-Entwickler.

Originalquelle
Hugging Face