英伟达于本周推出了一套名为“开放智能体安全平台”(Open Agent Safety Platform)的智能体治理系统,该方案将软件与基于DPU的带外芯片相结合,构成一套参考系统设计,公司称其能够“从测试到部署”全程保障智能体安全。

不过,尽管该设计中基于芯片的组件提供了一定的网络安全优势,分析人士指出,这一方案无法解决智能体所面临的绝大多数问题。

英伟达的这套方案依托其OpenShell软件,承诺“在运行智能体的软件、硬件、算力和机器人系统之间实现全栈治理与控制”,公司在新闻稿中表示。“作为开源软件,OpenShell软件提供了一个安全的运行时边界,能够追踪所有操作,并在智能体运行于英伟达Vera CPU上时强制执行策略。OpenShell可以扩展,以兼容包括Arm和英特尔在内的第三方算力平台。”

开放智能体安全平台的参考系统设计中包含英伟达Sentry,这是一款带外看门狗系统,运行在英伟达BlueField-4 DPU上,持续监控智能体行为。新闻稿中提到:“Sentry提供芯片层面的安全执行能力,这意味着一旦AI智能体试图越出其软件边界,Sentry能够在毫秒级时间内将其隔离并阻止。”

在一篇聚焦其“安全平台”细节的开发者博客文章中,英伟达将其方案描述为“在沙盒环境中以内核级隔离方式执行自主AI智能体的安全运行时”,并表示“开放模型的一个优势在于,整个推理空间与激活状态都是可见的”。

该平台的各组件正由众多合作伙伴推进落地,名单包括花旗集团、摩根大通、Anthropic、思科、CrowdStrike、戴尔科技、Figure、慧与(HPE)、Hugging Face、微软、Palantir、Palo Alto Networks、Perplexity、红帽、Salesforce、SAP、Scale AI、ServiceNow以及SpaceXAI等。

Gartner高级总监分析师劳伦·科努蒂克(Lauren Kornutick)对英伟达此举总体表示赞赏,称其“从一个有趣的角度,即硬件层面来解决问题,是朝正确方向迈出的一大步”。

但科努蒂克表示,她对已公布的支持者名单印象不深,并指出“一些重要玩家明显缺席”,包括OpenAI、亚马逊和谷歌。

其他分析师和咨询顾问表示,这一技术实现令人印象深刻,也带来了明显的益处,但他们强调,该方案忽略了企业首席信息安全官(CISO)在管理和保护自主智能体时真正面临的全局性困境。

最大的挑战在于,企业环境中充斥着大量未经IT部门或网络安全团队批准的智能体。通常情况下,这些团队甚至根本不知道这些带有权限凭证的智能体的存在。

“问题的局限在于覆盖面,”咨询公司Control Risks合伙人布莱恩·莱文(Brian Levine)表示。“这些控制手段只能治理你部署在自己掌控的基础设施上的智能体。但对于业务部门在某个SaaS平台上自行搭建的智能体、嵌入在供应商产品中的智能体,或者攻击者自带的智能体,这些控制手段毫无作用。如果你根本不知道某个智能体的存在,就无法让它遵守策略。发现与清点才是第一步,这既是技术挑战,也是治理挑战。”

纽约技术咨询公司Tribeca Softech首席战略官阿曼·马哈帕特拉(Aman Mahapatra)也认同英伟达方案存在局限性。

“执行机制只适用于在受治理运行时内运行的智能体,”他说。“运行时治理保护的是你已经知道的那些智能体,而这恰恰是最不需要保护的那部分。”

不过,马哈帕特拉表示,这并不意味着该方案是徒劳的。

“出于一个具体原因,这套方案有相当大的机会让情况明显改善:Sentry在BlueField-4 DPU上以带外方式运行,处于一个英伟达所称的、对智能体和攻击者均不可见的隔离信任域中,”他说。“你无法绕过一个你根本察觉不到的控制机制,也无法说服一个DPU放弃执行策略。概率性推理必须被夹在模型无法影响的确定性层之间,并配备一个只读不写的监督功能。Sentry正是将这一原则下沉到芯片层面的体现,而芯片正是实现这一原则的恰当之处。”

IDC人工智能基础设施副总裁布伦特·埃利斯(Brent Ellis)也表示认同。他估计该方案能解决的企业智能体网络安全问题“可能不到25%”。

他补充说,该方案还存在供应商锁定的问题。尽管英伟达目前在企业AI硬件市场占据着近乎垂直垄断的巨大份额,但埃利斯表示,他预计这一比例会下降,因为“竞争对手正开始具备可行性”,尤其是那些已投资自研芯片的超大规模云服务商。

但对于绝大多数以英伟达为主要供应商的企业而言,这种硬件化方案是很有意义的,埃利斯表示。那么,英伟达这套平台是否真有机会让企业智能体网络安全状况实质性改善?

“对于在该平台内运行的智能体来说,答案是肯定的,”他说。“不过这是一个很大的‘如果’。目前存在大量非英伟达的智能体基础设施,而在Vera和BlueField推出之前就已部署的架构,能够采用该平台中哪些组件也十分有限。”

在这一前提下,埃利斯表示情况开始变得乐观起来。“在能够采用该平台所有组件的环境中,你可以将执行机制从模型层和应用层剥离出来——而智能体一直在这些层面上通过对话或代码绕过控制。然后你可以将执行机制下移到运行时和芯片层面,这是一道更难突破的屏障。Sentry具体来说,让DPU成为一个更难被绕过的‘交通警察’。”

不过他也指出,一些攻击仍然可以利用治理层面的薄弱环节。

“看看最近OpenAI事件的发展过程,”他指出。“智能体并没有突破沙盒的壁垒,而是穿过了周边环境安全中漏洞百出的部分:被当作留言板使用的共享代码仓库、代表智能体抓取互联网内容的服务,以及相邻系统中未修补的漏洞。”

Dickson Research首席分析师弗兰克·迪克森(Frank Dickson)表示,他喜欢英伟达的这套平台,因为它避免了过去在保护智能体系统方面所犯的一些战略性错误。

“过去两年里,这个行业一直试图通过要求智能体‘自律’来实现安全,把护栏硬塞进提示词、模型和运行框架之中。这种做法注定会失败,”他说。“英伟达终于把执行机制放到了它应该在的位置:在智能体之外,在内核中,在一个检查每一个出站请求的代理层中,以及智能体无法看见也无法触及的芯片中。你不能指望让囚犯自己锁上自己的牢房。每一个认真做智能体平台的厂商都必须效仿这种设计。”

迪克森表示,英伟达的方案并非在智能体行为失控后再去补救,而是致力于从源头上防止问题发生。

“OpenShell会在每一个出站请求离开沙盒之前对照策略进行检查,其策略验证器则在智能体运行之前就先检查权限,”迪克森说。“英伟达声称Sentry能在毫秒级时间内将行为失控的智能体隔离。”

这与OpenAI近期报告的智能体问题处理所耗费的时间形成了鲜明对比,当时一个OpenAI智能体绕过了网络限制,与一个外部聊天机器人进行了通信。OpenAI报告称:“人工审核人员仅用三分钟就确认了系统生成的DNS警报,但又过了两个半小时之后,训练运行才被终止。”

咨询公司Acceligence首席执行官贾斯汀·格里斯(Justin Greis)也认同英伟达这一方案是可靠的,但他强调,AI智能体一直以善于找到规避限制的方法而“闻名”。

“我们应当假设,能力越来越强的智能体会去试探边界、发现意料之外的路径,并利用模糊之处加以利用。安全保障不能寄托于智能体‘自觉’不去这样做,”他说。“但即便是硬件层面强制执行的控制机制,其效果也仅取决于我们所设定的边界和策略本身的质量。”

他指出,如果用户不慎授权了一条合法路径,而该路径最终导致了危险的结果,智能体其实并不需要规避任何安全控制机制就能造成问题。“权限配置错误、权限过度授予、若干单独看来无害的能力组合在一起产生的风险、受到入侵的第三方,以及发生在受治理环境之外的活动,这些仍然是非常真实的问题,”他说。

本文原载于CSOonline。

Q&A

Q1:英伟达开放智能体安全平台是什么?

A:这是英伟达推出的一套智能体治理系统,结合OpenShell软件与基于BlueField-4 DPU的带外芯片组件,提供从测试到部署的全栈安全治理,核心是通过Sentry监控系统在毫秒级时间内隔离越界的AI智能体。

Q2:英伟达Sentry如何监控和阻止异常智能体行为?

A:Sentry是运行在BlueField-4 DPU上的带外看门狗系统,能够持续监控智能体行为,一旦检测到智能体试图越出其软件边界,就会在毫秒级时间内将其隔离并停止运行,实现芯片层面的安全执行。

Q3:这套平台能解决企业智能体网络安全的所有问题吗?

A:不能。分析师指出该方案只能覆盖约25%的企业智能体安全问题,因为它只能治理在英伟达硬件和受控基础设施上运行的智能体,无法应对业务部门自行搭建、供应商产品内嵌或攻击者带入的未知智能体。

InfoWorld