01 Was passiert ist

Mit dem Personal AI Router (PAIR) hat NVIDIA ein Tool vorgestellt, das unabhängige Inferenzanfragen auf mehrere Computer im lokalen Netzwerk verteilt. Ziel ist es, die Rechenlast von KI-Agenten besser zu skalieren, ohne komplexe infrastrukturelle Anpassungen vornehmen zu müssen.

02 Die wichtigsten Details

  • Das System ist laut NVIDIA mit gängigen Interfaces wie Ollama und LM Studio kompatibel, ohne dass Änderungen an den Agenten-Harnesses nötig sind.
  • Für die sichere Kommunikation zwischen den Knoten sorgen mDNS-Discovery und eine MTLS-Verschlüsselung.
  • Die Unterstützung umfasst NVIDIA GeForce RTX 20-Serie und neuer, RTX PRO GPUs, DGX Spark sowie Apple M4-Chips und höher.
  • In einer Demonstration des Anbieters benötigte ein Drei-Geräte-Cluster für einen Testlauf 8 Minuten und 48 Sekunden, gegenüber 18 Minuten auf einem Einzelgerät.

03 Warum das wichtig ist

Das Tool hilft Anwendern dabei, ungenutzte Rechenressourcen in ihrem lokalen Netzwerk zu bündeln. Dies verkürzt Latenzzeiten und Warteschlangen bei komplexen KI-Anwendungen, was besonders bei der Arbeit mit mehreren Agenten für eine effizientere Ressourcennutzung sorgt.

04 Für wen es relevant ist

Softwareentwickler und Entwickler von KI-Agenten.

OriginalquelleNVIDIA