01 Ce qui s’est passé
Hugging Face explique comment charger des modèles GGUF du Hub avec l’API from_pretrained de Transformers, en indiquant l’identifiant du modèle et le nom du fichier. Pour l’instant, l’inférence empaquetée est réservée à MPS ; l’import de GGUF par déquantification reste une option distincte.
02 Les points essentiels
- La configuration exige un Mac Apple Silicon, une version de PyTorch prise en charge par les compilations publiées des noyaux de quantification ggml (généralement l’une des deux dernières versions de PyTorch), des noyaux compatibles et la dernière version de Transformers sur la branche main jusqu’à la prochaine version.
- Le chargeur empaqueté prend actuellement en charge les architectures denses et MoE de Qwen3.5, ainsi que les points de contrôle Qwen3.8 compatibles. Hugging Face prévoit d’étendre progressivement la prise en charge à d’autres architectures ; les noyaux empaquetés ne sont pas disponibles sur tous les appareils.
- Selon Hugging Face, Transformers s’est rapproché de llama.cpp sur trois points de contrôle. Les mesures ne sont pas réalisées dans des conditions identiques : celle de Transformers inclut le prefill, tandis que llama-bench ne rapporte que le débit en décodage.
03 Pourquoi c’est important
Les développeurs disposant d’un Mac Apple Silicon adapté peuvent utiliser certains points de contrôle GGUF avec l’API Transformers, pour l’expérimentation ou le service de modèles. L’inférence empaquetée reste limitée à MPS et aux architectures Qwen indiquées. Si l’efficacité de l’inférence locale est prioritaire, la source recommande llama.cpp.
04 Pour qui c’est utile
Développeurs en IA.