01 发生了什么
NVIDIA 正式推出 Personal AI Router (PAIR)，旨在通过本地网络将独立的 AI 推理任务分发至多台设备上执行。该方案旨在通过利用闲置的计算资源，缓解多智能体工作流中的性能瓶颈问题。
02 关键细节
- PAIR 与现有的 Ollama 和 LM Studio 接口兼容，无需对现有智能体系统进行代码调整。
- 系统通过 mDNS 发现机制与 MTLS 加密技术，确保节点间通信的安全性与调度效率。
- 支持硬件范围涵盖 NVIDIA GeForce RTX 20 系列及更新显卡、RTX PRO 系列工作站 GPU、DGX Spark 以及 Apple M4 及以上芯片。
- NVIDIA 测试数据显示，在处理复杂任务时，由三台设备组成的 PAIR 集群耗时为 8 分 48 秒，相比单台笔记本电脑的 18 分钟大幅缩短了等待时间。
03 为什么重要
该工具能够帮助开发者通过整合局域网内的硬件资源，有效降低推理延迟并提升任务处理吞吐量，从而在无需复杂基础设施投入的情况下，实现本地 AI 计算能力的扩展。
04 适合谁
软件开发人员及人工智能代理开发人员。
原始来源NVIDIA