01 क्या हुआ
NVIDIA ने Personal AI Router (PAIR) नामक एक समाधान जारी किया है, जो एक ही स्थानीय नेटवर्क में कई उपकरणों के बीच न्यूरल नेटवर्क इन्फ्रेंस कार्यों को वितरित करने के लिए डिज़ाइन किया गया है। यह प्रणाली विभिन्न कंप्यूटरों के खाली संसाधनों का उपयोग करके बहु-एजेंट कार्यों को हल करने की अनुमति देती है।
02 मुख्य विवरण
- यह उपकरण मौजूदा Ollama और LM Studio इंटरफेस के साथ काम करता है, जिसमें एजेंटों को पुन: कॉन्फ़िगर करने की आवश्यकता नहीं होती है।
- डिवाइस खोजने के लिए mDNS और उनके बीच सुरक्षित संचार के लिए mTLS एन्क्रिप्शन का उपयोग होता है।
- संगतता में NVIDIA GeForce RTX 20 सीरीज़ और उससे नए GPU, RTX PRO सीरीज़ कार्ड, DGX Spark सिस्टम और Apple M4+ चिप्स शामिल हैं।
- NVIDIA के अनुसार, पाँच उप-एजेंटों वाले एक खास कार्य में तीन डिवाइस के क्लस्टर ने निष्पादन समय 18 मिनट से घटाकर 8 मिनट 48 सेकंड कर दिया।
03 यह क्यों महत्वपूर्ण है
PAIR समाधान उपयोगकर्ताओं को स्थानीय AI मॉडल के साथ काम करते समय हार्डवेयर सीमाओं को पार करने में मदद करता है, अनुरोध कतार को अनुकूलित करके। यह घरेलू या कार्यालय नेटवर्क में निष्क्रिय कंप्यूटिंग शक्ति का कुशलतापूर्वक उपयोग करके जटिल कार्यप्रवाहों को गति देने का अवसर प्रदान करता है।
04 किनके लिए महत्वपूर्ण है
सॉफ़्टवेयर डेवलपर्स और एआई एजेंट डेवलपर्स.
मूल स्रोत