01 Что произошло

Hugging Face описала, как загружать модели GGUF с Hub через API Transformers from_pretrained, передав ID модели и имя файла. Упакованный путь инференса пока доступен только через MPS; импорт GGUF с деквантованием остаётся отдельным вариантом.

02 Ключевые детали

  • Для работы нужны Mac с Apple Silicon, версия PyTorch, поддерживаемая опубликованными сборками ядер для квантования ggml (обычно одна из двух последних версий PyTorch), совместимые ядра и последняя версия Transformers из ветки main — до следующего релиза.
  • Упакованный загрузчик сейчас поддерживает плотные и MoE-архитектуры Qwen3.5, включая совместимые контрольные точки Qwen3.8. Поддержку других архитектур планируют расширять постепенно; упакованные ядра доступны не на каждом устройстве.
  • По данным Hugging Face, Transformers показал результаты, близкие к llama.cpp на трёх контрольных точках. Условия замеров различаются: измерение Transformers включает prefill, а llama-bench сообщает пропускную способность только на этапе decode.

03 Почему это важно

Разработчики с подходящим Mac на Apple Silicon могут использовать отдельные контрольные точки GGUF через привычный API Transformers для экспериментов или обслуживания моделей. Упакованный инференс ограничен MPS и указанными архитектурами Qwen. Если в приоритете эффективный локальный инференс, источник рекомендует llama.cpp.

04 Кому полезно

ИИ-разработчики.

Первоисточник
Hugging Face