01 Что произошло

Библиотека Transformers официально поддерживает выполнение моделей в формате GGUF, что позволяет использовать компактные чекпоинты непосредственно в экосистеме PyTorch.

02 Ключевые детали

  • Разработчики могут загружать GGUF-модели методом from_pretrained, указывая имя файла.
  • Высокая производительность обеспечивается за счет интеграции ядер ggml, аналогичных используемым в llama.cpp.
  • Первоначальная поддержка ограничена архитектурой Apple Silicon и моделью Qwen3.5.

03 Почему это важно

Это изменение упрощает локальный инференс для исследователей и разработчиков, позволяя запускать квантованные модели на ноутбуках без смены инструментов.

04 Кому полезно

Инженеры по машинному обучению и разработчики программного обеспечения.

ПервоисточникHugging Face