Nvidia PAIR(意为个人AI路由器,Personal AI Router)是一套巧妙的解决方案,用来应对目前许多人还不常遇到的问题——至少现在还不算普遍。这是一套面向经常需要在家中运行复杂或高GPU占用AI智能体任务的用户而设计的新系统。如果智能体的任务可以拆分成多个可并行处理的子智能体(也就是说它们彼此之间没有依赖关系),PAIR便能通过把这些工作分配给网络上的其他电脑,从而加快智能体的运行速度,或释放主系统的算力资源。

换句话说,理论上我可以在自己的台式电脑上运行PAIR,同时让我的MacBook Pro去处理繁重的照片分类和分析工作(我有成千上万张照片需要整理),或者让你用它去管理智能家居设备(虽然我家用的都是"傻瓜"设备),而我们各自可以在自己的电脑上专心玩游戏。这一切都可以在本地网络内完成。

PAIR是开源项目,今天正式进入测试阶段,代码已在Github上开放。该系统基于成熟的标准构建,包括用于局域网设备发现的mDNS协议,以及用于安全通信的MTLS协议。

工作原理

PAIR可以在Windows、Mac和Linux系统上运行,不过据推测,主系统需要配备RTX系列GPU。Nvidia并未说明Windows或Linux系统的具体配置要求,但对于Mac系统,则需要搭载M4代及以后处理器的相对较新机型。由于智能体的运算是在远程系统上执行的,这些系统必须具备并能够运行所需的AI模型,目前该系统仅兼容Ollama和LM Studio这两种推理引擎(尚不清楚是否包括新推出的LM Bionic)。

在每台设备上安装软件并完成连接后,用户就可以在主系统上运行自己的智能体,例如Hermes Desktop或OpenClaw。智能体负责统筹整个流程,比如决定并编排需要分配哪些子智能体,然后将这些子智能体的任务发送给PAIR,PAIR在这里的角色相当于一个代理引擎。接下来,PAIR会把这些子智能体分配给网络中的其他电脑,并接收它们的运算结果,再反馈给主智能体。简而言之,智能体负责决定需要执行什么任务,而PAIR负责决定在哪里执行,并管理智能体与子智能体之间的通信。

PAIR不能做什么

PAIR会根据多项标准来分配子智能体任务:比如某台设备是否正在接受新任务、是否已安装所需的推理引擎和模型、当前工作负载如何,以及还有多少空闲的GPU带宽。Nvidia表示,公司正在持续扩展和优化这些分配标准。系统还配备了一个仪表盘,可以实时显示各设备的运行状态。

不过,这款软件无法解决一个更棘手的问题:如果各台设备本身算力或内存不足,PAIR也爱莫能助。它并不会把各台设备的GPU算力或内存进行池化整合,因此如果某个模型本身超出了单台设备的承载能力,用户也无法借助PAIR来运行更大的模型。但如果多个子智能体分别在不同设备上运行,至少可以避免多个并行任务挤占同一块内存空间的问题。此外,PAIR也不会把单个子智能体拆分到多台设备上协同运行,每个子智能体只能被分配给一台设备执行。

要让这套系统发挥最佳效果,用户恐怕需要让更多原本可能不打算一直开着的设备保持开机状态。而且目前尚不清楚,如果有人在某台设备正在运行子智能体任务的同时,突然想要看视频或玩游戏,系统会如何处理这种情况。

Q&A

Q1:Nvidia PAIR是什么?

A:Nvidia PAIR全称是Personal AI Router(个人AI路由器),是一套开源系统,可以把AI智能体的子任务分配给局域网内的其他电脑并行处理,从而加快任务速度或释放主系统算力,且整个过程都在本地网络内完成。

Q2:Nvidia PAIR支持哪些系统和设备?

A:PAIR支持Windows、Mac和Linux系统,主系统通常需要配备RTX系列GPU,Mac设备则需要M4代及以后的处理器。目前仅兼容Ollama和LM Studio两种推理引擎。

Q3:Nvidia PAIR能不能让多台电脑共享算力来运行更大的模型?

A:不能。PAIR并不会把各台设备的GPU算力或内存池化整合,所以无法用它运行单台设备本身承载不了的大模型,它只是把可并行的子任务分配到不同设备上分别运行。

cnet