01 क्या हुआ
Hugging Face ने बताया है कि कैसे Hub से GGUF मॉडल को Transformers के from_pretrained API के माध्यम से मॉडल ID और फ़ाइल नाम प्रदान करके लोड किया जाए। पैक्ड इन्फ्रेंस पथ वर्तमान में केवल MPS के माध्यम से उपलब्ध है; डिक्वांटाइज़ेशन के साथ GGUF आयात एक अलग विकल्प बना हुआ है।
02 मुख्य विवरण
- काम करने के लिए Apple Silicon Mac, ggml क्वांटाइज़ेशन के लिए प्रकाशित कर्नेल बिल्ड द्वारा समर्थित PyTorch संस्करण (आमतौर पर दो नवीनतम PyTorch रिलीज़ में से एक), संगत कर्नेल और अगले रिलीज़ तक main ब्रांच से नवीनतम Transformers की आवश्यकता है।
- पैक्ड लोडर वर्तमान में Qwen3.5 डेंस और MoE आर्किटेक्चर का समर्थन करता है, जिसमें संगत Qwen3.8 चेकपॉइंट शामिल हैं। अन्य आर्किटेक्चर के लिए समर्थन धीरे-धीरे बढ़ाने की योजना है; पैक्ड कर्नेल हर डिवाइस पर उपलब्ध नहीं हैं।
- Hugging Face के अनुसार, Transformers ने तीन चेकपॉइंट्स पर llama.cpp के करीब परिणाम दिखाए। माप की शर्तें भिन्न हैं: Transformers माप में prefill शामिल है, जबकि llama-bench केवल decode चरण की थ्रूपुट रिपोर्ट करता है।
03 यह क्यों महत्वपूर्ण है
उपयुक्त Apple Silicon Mac वाले डेवलपर्स प्रयोग या मॉडल सर्विसिंग के लिए परिचित Transformers API के माध्यम से चुनिंदा GGUF चेकपॉइंट का उपयोग कर सकते हैं। पैक्ड इन्फ्रेंस MPS और निर्दिष्ट Qwen आर्किटेक्चर तक सीमित है। यदि कुशल स्थानीय इन्फ्रेंस प्राथमिकता है, तो स्रोत llama.cpp की सिफारिश करता है।
04 किनके लिए महत्वपूर्ण है
AI डेवलपर्स।
मूल स्रोत