01 Что произошло
Компания NVIDIA выпустила решение Personal AI Router (PAIR), предназначенное для распределения задач нейросетевого вывода между несколькими устройствами в одной локальной сети. Система позволяет задействовать свободные ресурсы различных компьютеров для решения многоагентных задач.
02 Ключевые детали
- Инструмент поддерживает работу с существующими интерфейсами Ollama и LM Studio без необходимости перенастройки агентов.
- Для безопасности соединения используются технологии mDNS-обнаружения и шифрование MTLS.
- Совместимость охватывает GPU NVIDIA GeForce RTX 20-й серии и новее, карты серии RTX PRO, систему DGX Spark и чипы Apple M4 и выше.
- По заявлению NVIDIA, использование кластера из трех устройств сократило время выполнения комплексного теста с 18 минут до 8 минут 48 секунд.
03 Почему это важно
Решение PAIR помогает пользователям преодолеть аппаратные ограничения при работе с локальными ИИ-моделями, оптимизируя очередь запросов. Это дает возможность эффективно использовать простаивающие вычислительные мощности в домашних или офисных сетях для ускорения сложных рабочих процессов.
04 Кому полезно
Разработчики программного обеспечения и разработчики AI-агентов.
ПервоисточникNVIDIA