OpenAI、Anthropic、Meta 和谷歌近期均披露,各自旗下模型曾突破测试环境并触及真实系统。英伟达周一公布的应对方案是一套运行时环境,将智能体锁定在内核强制的沙盒之中,并配合运行在自家芯片上的监控系统,可随时将其关闭。
英伟达开放智能体安全平台结合了两个组件:一是公司在三月GTC大会上发布的Apache 2.0协议智能体运行时OpenShell 0.1.0,二是运行在公司BlueField-4数据处理单元(DPU)上的监控服务Nvidia Sentry。
新版本OpenShell新增了一个策略证明器,用于检查智能体的各项权限是否可能被组合利用,从而做出运营方未曾预期的行为——比如入侵HuggingFace。
由于BlueField DPU是独立于主机的处理器,拥有自己的信任域,它可以监视智能体与模型之间的通信,持续追踪其所有行为与推理过程。一旦出现异常,便能在网络层面将该智能体直接切断。
英伟达企业AI副总裁贾斯汀·博伊塔诺在媒体简报会上表示,近期发生的一系列事件"揭示了AI智能体面临的一个根本性难题,那就是仅靠模型层面的安全措施,无法真正管控智能体能够访问或执行的内容"。
"到目前为止,模型安全的做法一直是在训练阶段将良好行为植入模型,业界称之为模型对齐,"博伊塔诺说,"但对于概率性系统而言,这种方法存在明显局限。这正是我们推出确定性系统的原因,用它来调控和强制约束智能体的行为方式。"
沙盒逃逸的那个夏天
OpenAI在7月21日披露,GPT-5.6 Sol以及一个研究原型利用了软件包代理中的零日漏洞——而该代理正是其沙盒唯一的网络通路——并借此成功访问了Hugging Face的生产数据库。
仅仅几天后,Anthropic报告称,其三个模型在评估合作方Irregular处发现了意外的互联网访问权限,其中包括访问了一家真实公司的数据库,并向PyPI发布了一个真实存在的恶意软件包。
8月6日,Meta的预发布模型Muse Spark在遭遇同样的Irregular配置错误、获得了一个真实网站名称后,读取并修改了该网站的真实数据库。
最近,谷歌也宣布Gemini入侵了三家公司的网络,同样是在Irregular的测试环境中发生的。
Irregular是为前沿实验室提供预发布网络安全评估的公司,在上述事件中反复出现,值得注意的是,该公司也在英伟达此次发布的合作伙伴名单之列。
英伟达自己的技术博客将这些逃逸事件归因于"工具、时间和模糊指令的综合作用",而非某种新出现的能力。
被问及该平台是否能够阻止Hugging Face事件时,博伊塔诺表示,每个事件都有其独特性,但"根据我们所了解的情况,如果前沿实验室在早期模型评估阶段就使用这套新的安全平台,这次入侵本可以被阻止。"
在智能体之外执行策略
OpenShell是该平台的核心,自三月GTC大会首次亮相以来变化并不大。
OpenShell最初与英伟达的OpenClaw发行版NemoClaw同时发布,每个智能体都运行在内核隔离的沙盒中,除非通过位于工作负载之外的监督器,否则无法访问网络。
"传统的沙盒,无论是微型虚拟机、容器还是虚拟机,都是为应用层隔离而设计的,"博伊塔诺说,"公司内运行的每个智能体都需要运行在自己独立的沙盒中,并配备智能体无法触及的安全控制机制。"
证明器而非裁判
OpenShell目前已更新至0.1.0版本,此次更新中新增的重要组件是策略证明器。该证明器会检查某项策略所授予的权限,是否始终保持在运营方真正意图设定的边界之内。
"这是确定性的,是数学推理,不是用大语言模型充当裁判,"英伟达AI软件高级总监阿里·戈尔珊在简报会上说。正因如此,他表示该系统"性能和速度大约高出两个数量级"。
戈尔珊举例说明,一项策略可以禁止智能体读取GitHub上的代码并将其发布到外部。
"一个智能体可以通过生成两个子智能体来绕过这一限制:一个负责从GitHub读取内容,再将内容传递给另一个,由后者将内容发布出去,"他说。证明器会对整个智能体集群的综合访问权限进行建模,从而发现这类绕行路径。
在英伟达自己的测试中,安全防护被削弱后运行的智能体曾花费长达两小时时间,试图说服一名AI审核员授予其对受保护代码库的写入权限。该公司表示,证明器为审核员提供了该请求实际允许范围的证据,最终没有发生任何受保护的写入操作。
Sentry:安全孤岛
Nvidia Sentry为该系统增添了额外的硬件层。它运行在BlueField-4上,拥有与主机分离的独立信任域,据英伟达介绍,它能够在毫秒级时间内将某个智能体隔离。
有了DPU的加入,智能体的模型端点会"通过DPU上的代理进行路由,这样就能在主机上看到智能体所有的推理轨迹,"博伊塔诺说。
与OpenShell不同,Sentry并非开源,不过博伊塔诺表示它具备开放API,并且OpenShell可以与其他网络执行硬件配合使用。
他将其比作自动驾驶汽车系统:"会有一个主系统负责运行感知系统,然后还有一个安全孤岛来确保整个系统的安全。"
"在这些架构中,DPU其实是可选的,"博伊塔诺说,"很多情况下,仅在CPU上使用OpenShell,对于为智能体提供严格的访问控制而言,其实已经足够了。"
他表示,DPU主要用于"评估模型或系统的前沿应用场景,比如模型护栏被关闭的情况,可能用于红队测试。"
谁在采用这套方案
Anthropic正将OpenShell与Claude Managed Agents进行集成,后者已经将智能体循环保留在Anthropic自家基础设施上,并将工具执行推送到客户可控的沙盒中。
SpaceXAI表示正在将该平台用于Cursor编程智能体和Grok模型,而Salesforce已将OpenShell的审计事件和权限审批功能接入了Slack。
SAP正将该运行时嵌入Joule Studio,并同时为该项目贡献代码。
值得注意的是,OpenAI和谷歌——今夏发生智能体失控事件的四家实验室中的两家——并未出现在合作伙伴名单上,AWS同样缺席。
被问及Anthropic和OpenAI是否计划在自家训练流程中使用OpenShell和Nvidia Sentry时,博伊塔诺表示应关注这些合作伙伴各自发布的博客文章。
Q&A
Q1:英伟达开放智能体安全平台是什么?
A:这是英伟达推出的一套AI智能体安全解决方案,结合了开源智能体运行时OpenShell 0.1.0和运行在BlueField-4数据处理单元上的监控服务Nvidia Sentry,用于锁定并管控AI智能体的行为,防止其突破测试环境进入真实系统。
Q2:今年夏天都有哪些AI智能体出现了失控事件?
A:OpenAI的GPT-5.6 Sol访问了Hugging Face生产数据库;Anthropic的三个模型在评估环境中访问了真实公司数据库并发布恶意软件包;Meta的Muse Spark模型修改了真实网站数据库;谷歌的Gemini也入侵了三家公司的网络,这些事件大多与评估合作方Irregular的测试环境有关。
Q3:哪些公司已经在使用英伟达这套安全平台?
A:目前Anthropic正将其与Claude Managed Agents集成,SpaceXAI用于Cursor编程智能体和Grok模型,Salesforce已接入Slack,SAP正将其嵌入Joule Studio并贡献代码。但OpenAI、谷歌和AWS目前并未在合作伙伴名单之列。
