01 Что произошло
Hugging Face описала, как загружать модели GGUF с Hub через API Transformers from_pretrained, передав ID модели и имя файла. Упакованный путь инференса пока доступен только через MPS; импорт GGUF с деквантованием остаётся отдельным вариантом.
02 Ключевые детали
- Для работы нужны Mac с Apple Silicon, версия PyTorch, поддерживаемая опубликованными сборками ядер для квантования ggml (обычно одна из двух последних версий PyTorch), совместимые ядра и последняя версия Transformers из ветки main — до следующего релиза.
- Упакованный загрузчик сейчас поддерживает плотные и MoE-архитектуры Qwen3.5, включая совместимые контрольные точки Qwen3.8. Поддержку других архитектур планируют расширять постепенно; упакованные ядра доступны не на каждом устройстве.
- По данным Hugging Face, Transformers показал результаты, близкие к llama.cpp на трёх контрольных точках. Условия замеров различаются: измерение Transformers включает prefill, а llama-bench сообщает пропускную способность только на этапе decode.
03 Почему это важно
Разработчики с подходящим Mac на Apple Silicon могут использовать отдельные контрольные точки GGUF через привычный API Transformers для экспериментов или обслуживания моделей. Упакованный инференс ограничен MPS и указанными архитектурами Qwen. Если в приоритете эффективный локальный инференс, источник рекомендует llama.cpp.
04 Кому полезно
ИИ-разработчики.
Первоисточник