PyTorch 2.15 MPS में FP8, भारी MoE गति वृद्धि और वीडियो मेमोरी सुधार लाता है
FP8 टेंसर, MoE डिकोडिंग 5–6.5× तेज, Wan2.2 VAE मेमोरी 270 GiB से घटकर 8 GiB।
Hugging Face↗
विषय
डिवाइस पर AI
इस विषय पर AI समाचार और व्यावहारिक लेख।
नवीनतम लेख
07NVIDIA RTX Spark लैपटॉप 16 अक्टूबर को नए AI मॉडल के साथ लॉन्च होंगे
NVIDIA और Microsoft ने RTX Spark लैपटॉप की उपलब्धता 16 अक्टूबर, शुक्रवार को घोषित की। Nemotron 3.5 Bolt 74B मॉडल एजेंटिक AI के लिए 15 अक्टूबर को उपलब्ध होगा। Adobe ने अपने ऐप्स में 2x तक तेजी का दावा किया है।
NVIDIA↗
GitHub Copilot स्थानीय और क्लाउड मॉडल के बीच कार्यों को स्वचालित रूप से चुनेगा
Microsoft का कहना है कि अक्टूबर 2026 के अंत तक Copilot स्वचालित रूप से यह तय करेगा कि कार्य को डिवाइस पर या क्लाउड में कहां निष्पादित करना है। स्थानीय मॉडल के आंकड़े कंपनी द्वारा प्रदान किए गए हैं।
Microsoft↗
NVIDIA RTX Spark: स्थानीय AI के लिए लैपटॉप का प्री-ऑर्डर और Microsoft से MXC
RTX Spark लैपटॉप प्री-ऑर्डर के लिए खुले हैं, 16 अक्टूबर से उपलब्ध। क्लाउड के बिना स्थानीय मॉडल उपयोग के बारे में NVIDIA के दावे कंपनी की स्थिति हैं, स्वतंत्र परीक्षण नहीं।
NVIDIA↗
Google ने डिवाइस पर मल्टीमॉडल एम्बेडिंग के लिए EmbeddingGemma 2 जारी किया
740 मिलियन पैरामीटर वाला यह मॉडल टेक्स्ट, कोड, इमेज, ऑडियो और वीडियो को एक साझा एम्बेडिंग स्पेस में मैप करता है। वज़न Hugging Face और Kaggle पर उपलब्ध हैं; Model Garden जल्द ही उपलब्ध होगा।
Google↗
Hugging Face ने Apple Silicon पर Transformers के माध्यम से GGUF मॉडल लोड करने का वर्णन किया है।
Hub से GGUF मॉडल लोड करने के लिए from_pretrained के माध्यम से इसकी ID और फ़ाइल नाम की आवश्यकता होती है। पैक्ड इन्फ्रेंस वर्तमान में केवल MPS और Qwen3.5 आर्किटेक्चर तथा संगत Qwen3.8 तक सीमित है।
Hugging Face↗
NVIDIA ने AI संगणना वितरित करने के लिए PAIR उपकरण प्रस्तुत किया।
NVIDIA Personal AI Router उपयोगकर्ताओं को एक स्थानीय नेटवर्क में कई कंप्यूटरों की शक्ति को संयोजित करने की अनुमति देता है ताकि AI एजेंटों के काम को गति दी जा सके।
NVIDIA↗