自主智能体可以长时间处理复杂任务,访问文件、工具、互联网,甚至生成其他智能体进行协作。在长时间范围内执行复杂任务会带来风险累积:智能体可能下载代码、构建新工具、请求额外权限,并接触更多底层基础设施。

智能体的行动路径是在工作过程中确定的,它们会推理完成目标所需的步骤。当它们与周围的工具和系统交互时,会不断调整自身的推理和行为以实现任务目标。

智能体的适应能力正是其强大之处,但由于它们以目标为导向,在追求目标的过程中可能不会将安全性放在首位。为了让智能体既能自主工作又能安全运行,我们需要构建能够对智能体行为提供控制和可见性的环境。

智能体无法自我治理,安全与治理机制必须内置于其运行所依赖的基础设施中。

OpenShell提供智能体无法触及的确定性治理机制

英伟达OpenShell是一个开源运行时环境,用于将智能体系统所需的安全与治理能力构建到计算基础设施中。OpenShell定义并执行智能体可以访问哪些系统和数据,涵盖从文件、互联网服务到与物理设备交互的系统。

它是用于构建安全AI智能体的英伟达OpenShell参考架构的基础。OpenShell在整个执行过程中将智能体工作负载视为不可信对象。智能体只能在需要时获得所需的访问权限。

OpenShell包含四个关键组件:

网关:管理沙箱生命周期和策略的控制平面

监督器:根据策略检查出站请求,并对凭证访问进行中介管理,该组件完全独立于沙箱运行

沙箱:隔离智能体工作负载,限制其对文件系统和进程的访问

策略验证器:加入形式化验证机制,检查某项策略的权限是否仍处于组织设定的上限范围内

随着智能体不断演进,这些组件提供了确保其安全运行所需的基础设施控制能力。

扩展与集成OpenShell

可扩展性是OpenShell设计的核心原则。监督器中间件允许用户检查、阻止或修改智能体通过网络发送和接收的内容,作为额外的执行层。网关拦截器则允许运营方在不修改网关本身的情况下,为OpenShell控制平面操作添加针对特定部署场景的治理规则。

企业还需要明确智能体代表谁行事、拥有何种权限,以及某项行动是否符合任务要求。身份认证、授权管理、数据保护和审计机制分别解决这一问题的不同方面。OpenShell提供了可供这些系统集成的执行节点。

在该参考架构中,OpenShell运行于英伟达Vera CPU之上。

英伟达Vera:控制机制之下的计算层

OpenShell定义智能体能做什么,而Vera决定它们能以多快的速度完成。智能体通过一系列相互依赖的步骤循环运行,每一步必须完成后才能进入下一步:推理、调用工具、执行代码、查询数据。

AI工厂需要同时运行数千个这样的循环,这对CPU架构在五个维度上提出了新的要求:

需要庞大的核心数量以运行众多并发工作流,同时需要快速的单核性能以缩短每个顺序步骤的耗时。

需要高带宽的互连结构和内存,以确保核心能够持续获得智能体所依赖的实时数据。

需要庞大的I/O能力,以在CPU、GPU、存储和网络之间高速传输数据。

需要硬件级安全保障,因为智能体越来越多地处理敏感的企业数据,必须与其他智能体以及主机系统相互隔离。

需要在现代数据中心的功耗范围内实现以上所有能力(即每瓦特完成更多智能体工作,而非单纯提升原始性能)。

英伟达将这种组合能力称为“大规模最高单线程CPU性能”,而英伟达Vera正是为此而生:配备大量Olympus核心、第二代可扩展一致性互连结构、LPDDR5X内存、第六代I/O、机密计算能力,以及专为功耗受限数据中心设计的高能效架构。

三项架构特性使Vera在智能体工作负载中表现卓越

首先,88个英伟达自研的Olympus核心配备10路前端、神经网络分支预测器和深度乱序执行能力,在关键智能体工作负载上相比x86架构可实现高达2倍的性能提升,从而缩短每次工具调用、代码执行和评估的耗时。

其次,Vera的第二代可扩展一致性互连结构提供高达3倍的核间带宽,相比x86替代方案,核间延迟降低高达50%,确保数据在高负载下也能保持稳定流动。Vera还集成了96条PCIe Gen 6通道,提供了连接GPU、高速存储和网络所需的I/O带宽,以满足智能体基础设施对吞吐量的需求。

第三,高达1.2 TB/s的LPDDR5X内存带宽,相比基于芯粒的设计,负载内存延迟降低高达40%,确保智能体能够持续获得所需的实时上下文数据,而不会因内存访问而出现停滞。LPDDR5X还显著提升了能效:Vera相比x86 CPU每瓦性能提升2倍,而LPDDR5X内存子系统本身的功耗比基于DDR5的同类内存配置低一个数量级,从而在相同功耗范围内实现更多智能体工作量。

智能体工作负载依赖于沙箱:一种隔离的执行环境,智能体在其中运行代码、调用工具并完成任务,而不会干扰彼此或主机系统。沙箱的密度越高、启动速度越快,给定的基础设施规模所能支撑的智能体工作量就越大。

专为大规模模型训练和服务打造的AI云平台CoreWeave发现,在Vera上沙箱启动速度比在x86上快3倍以上,单机架可支持超过11000个并发智能体环境。

在用于衡量CPU在真实智能体循环任务中性能表现的Terminal Bench测试中,CoreWeave发现Vera相比x86实现了1.8倍的性能提升,涵盖从脚本编写到数据库恢复等多种智能体任务。这种在高负载下保持的密度和性能表现,正是智能体基础设施真正所需要的。

英伟达BlueField与英伟达Sentry提供硬件级防护

OpenShell将控制权置于智能体之外。对于需要额外防护的部署场景,这种隔离机制还可以延伸至专用芯片层面。

英伟达BlueField-4 DPU提供一个硬件隔离的信任域,位于智能体无法触及的范围之外。在OpenShell参考架构中,BlueField-4位于Vera上运行的智能体与其所访问模型之间的I/O路径中。基于英伟达DOCA构建的安全软件框架英伟达Sentry在这个独立域中运行,持续监控智能体行为并执行运行时策略。

英伟达Sentry会观察请求和响应、网络及文件活动,验证身份和委托权限,并分析选定的主机内存,以检测偏离授权行为的异常,而无需依赖智能体的自我报告。

当检测到威胁或策略违规时,BlueField-4会在芯片层面执行策略,使英伟达Sentry能够在数毫秒内隔离该智能体。二者结合,在OpenShell的软件边界之外提供了一层可选的硬件安全保障。欲了解英伟达Sentry的更多信息,请参阅相关技术深度解析文章。

将安全的智能体运行环境推向规模化应用

在生产环境中运行智能体,需要能够在管理数千个工作流持续运转的同时,对其每一项行动进行治理的基础设施。Vera提供了维持这些工作流所需的计算能力、内存带宽和I/O性能。OpenShell则提供了运行时边界,决定哪些行动可以执行,哪些资源是智能体可以触及的。

Vera与OpenShell的结合,为安全的智能体执行奠定了规模化的基础。智能体可以运行更长时间、使用工具,并在其控制范围之外执行的策略约束下处理企业数据。对于需要额外防护的部署场景,基于BlueField-4的英伟达Sentry增加了独立监控和芯片级执行能力。

运行大语言模型的英伟达Vera Rubin平台,与OpenShell以及基于BlueField-4的英伟达Sentry一起,构成了OpenShell参考架构的三大支柱。它们共同组成了安全AI智能体的完整技术栈:一个完整的、以硬件为根基的基础架构,既赋予企业提升智能体生产力所需的性能,也提供了确保其工作保持在授权范围内的控制能力。

开始使用

要在您的组织中实施安全的智能体治理,可从英伟达OpenShell入手,参考相关文档,并了解英伟达Vera CPU如何加速智能体工作负载。

NVIDIA