01 Ce qui s’est passé
NVIDIA a dévoilé le Personal AI Router (PAIR), un outil permettant de distribuer des requêtes d'inférence indépendantes entre plusieurs ordinateurs connectés au même réseau local. Cette solution vise à réduire les goulots d'étranglement lors de l'exécution de flux de travail multi-agents.
02 Les points essentiels
- L'outil est compatible avec les interfaces Ollama et LM Studio existantes, sans nécessiter de modification des configurations d'agents.
- La sécurité des connexions entre les nœuds est assurée par le protocole mDNS et le chiffrement MTLS.
- Le support matériel inclut les GPU NVIDIA GeForce RTX série 20 et ultérieurs, les stations RTX PRO, le système DGX Spark et les puces Apple M4 et supérieures.
- NVIDIA indique qu'un cluster de trois appareils a réalisé un test en 8 minutes 48 secondes, contre 18 minutes sur un ordinateur portable isolé.
03 Pourquoi c’est important
PAIR permet aux utilisateurs de mutualiser leurs ressources informatiques locales pour accroître les performances de leurs modèles. Cette approche réduit la latence et les temps d'attente, facilitant l'exécution de tâches d'IA complexes sans infrastructure coûteuse.
04 Pour qui c’est utile
Développeurs de logiciels et développeurs d'agents IA.
Source originaleNVIDIA