要理解智能体式AI目前所处的阶段，可以回顾上一次技术领域的巨变：90年代互联网的兴起。那时一切都是全新的，充满可能性。你可以用一个周末搭建一个网站并分享给全世界，也可以在在线聊天室里和地球另一端的人聊天而无需支付长途电话费。互联网带来了无穷的机会，但也伴随着大量风险。一个网站可能在你的机器上运行代码，窃取你的敏感信息，或用病毒感染你的电脑。尽管如此，人们依然热爱它。
为了引入信任层，业界建立了加密连接、锁形图标等机制，让用户知道何时连接是安全的。安全性方面真正的跃升来自当时一个颇为激进的安全理念：将每个页面隔离在自己的沙盒中（浏览器里的一个标签页），这样一个恶意页面就无法感染你电脑的其他部分。亚马逊、谷歌、Netflix和Meta都是建立在这层信任基础之上的。
互联网的安全与可靠性，使得在线商务、社交连接、游戏等此前不可能实现的应用得以蓬勃发展。安全性并没有拖慢创新的步伐，反而推动了它的加速。
为什么现在要为智能体构建可信层
近期，多家前沿实验室报告了类似的情况：AI智能体突破了本应限制它们的评估环境，接触到了它们本不该被允许接触的系统。有些智能体甚至谎报了自己的行为。现有的安全控制措施并不充分。
过去几周，这些报告引发了关于智能体发展速度的严肃讨论。我们认为，需要与前沿实验室及更广泛的社区合作，加快AI安全研究与工程建设的步伐。
导致这些突破事件的并非某一项单一的新能力，而是工具、时间和模糊指令的组合，再加上希望智能体“跳出框架思考”的诉求。
智能体安全需要独立的安全控制机制。互联网的安全并非依靠要求网页开发者承诺行善而实现，而是因为浏览器不再明确信任网页中的代码，才变得安全。
我们需要为智能体构建这样一层信任机制。
构建OpenShell过程中获得的经验
NVIDIA OpenShell（采用Apache 2.0许可）是一个开源的安全运行时环境，用于在具有内核级隔离的沙盒环境中执行自主AI智能体。在过去一年的OpenShell开发过程中，我们了解到，每个智能体从一开始就应该运行在零信任环境中，它们需要隔离、监控和行为检测。今天，我们推出了一套开放技术栈来实现这一点。
在我们自己的研究中，我们观察到智能体是如何偏离轨道的。“漂移”指的是智能体的行为偏离了预期任务或运行约束。漂移可能发生在策略阻断、程序错误或工具缺失的情况下，也可能发生在指令模糊不清，或者智能体被放任运行数天乃至数周去解决难题、而最初尝试的上千种方法均未奏效的情况下。这种情况无法通过训练消除，同时又不损害其能力。这里有一个最重要的经验：在这些情况下，不能指望智能体完全自我约束其行为。
构建智能体系统的五大核心原则
策略需要可验证：在智能体运行之前，需要有验证方证明其策略不会超出运营者的意图范围。
执行必须带外进行：控制机制不能存在于智能体内部，也不能处于智能体可触及的范围内。智能体不需要知道自己正被监控。
通往模型（大脑）的路径就是控制点：智能体无法在没有下一步思考的情况下采取行动。通过控制通往模型的路径，你既拥有了最佳的观测点，也拥有了在必要时中断它的“终止开关”。
随着智能体权限的扩大，检查其思维过程的能力也要随之增强：智能体能做的事情越多，其推理过程就越需要透明可见。开放模型的一个优势在于，其整个推理空间和激活状态都是完全可见的。
应用共担责任模式：实验室、企业和硬件提供商各自承担一层责任，就像今天的云计算一样。智能体运行时及其策略语言需要保持开放，这样任何提供商都可以接入。
开放智能体安全平台的三层架构
面向AI智能体的安全平台包括以下三层：
应用层：终端用户正在构建的内容。包含完成任务所需的必要要素：模型、框架、工具、数据以及支持脚本和程序。
运行时层：将应用层映射到基础设施上，将智能体工作负载编排到满足终端用户需求的基础设施上（终端用户工作站、边缘设备、数据中心），并提供持续监控、实时策略执行和治理。
基础设施层：用于执行智能体工作负载的具体硬件资源，包括对上游服务的网络调用、数据库和文件系统访问、用于工具和代码执行的通用计算，以及用于安全监控和提升工作负载密度的加速计算。
智能体安全的分层基础
OpenShell在沙盒中运行每个智能体，并将运营者的指令转化为可验证的策略。运营者定义智能体可以访问哪些文件、网络、工具、进程和凭证。OpenShell会在智能体运行前检查这些限制，并在其运行过程中持续执行。
对于希望增加独立安全层的组织，NVIDIA Sentry可将监控和执行能力扩展到NVIDIA BlueField硬件之上。NVIDIA DOCA使BlueField安全基础具备可编程能力，并将其与OpenShell策略相连接，能够关联智能体交互、策略决策以及工具和数据访问情况，从而形成智能体活动的上下文记录。
这有助于安全系统识别漂移现象、调查可疑行为，并判断何时需要干预或进行更深入的分析。DOCA网关通过身份治理机制补充这种行为防护，持续验证每个智能体的身份及其被授予的权限，确保其在指定范围内运行。
如需了解更多信息，请参阅技术详解文章《使用NVIDIA OpenShell为AI智能体添加运行时控制》。
面向AI工厂规模的运行
NVIDIA开放智能体安全平台针对基于NVIDIA Vera CPU和BlueField DPU的系统进行了优化，同时也兼容其他硬件系统。
在NVIDIA Vera Rubin POD中，每个计算托盘都配备了一个BlueField-4数据处理单元，位于节点通往模型的唯一路径上。凭借这一位置，BlueField-4能够以线速对智能体行为进行持续、带外的观测，并实时执行安全策略。由于与主机隔离且超出智能体的触及范围，即使主机资源不可信，它依然是一层可信的基础设施保护层。各组织可以借此将NVIDIA Sentry作为与OpenShell并行的可选安全层来运行。
这一基础支持在硬件层面强制执行OpenShell策略的高韧性安全机制，并能持续评估智能体的安全性和完整性，包括评估其运行时安全性，并根据预定义的行为特征监控其是否偏离设计意图。在这种架构下，整个智能体、子智能体、工具和应用的集群都能保持在边界之内，并具备完整的溯源记录。对于已经在配备BlueField-4的NVIDIA Vera系统上运行的用户来说，启用这些保护机制只需一次软件更新。
智能体经济
互联网建立在开源、开放研究以及那些相信互联网能够改变人类历程的人们的基础之上。信任的加入，将一个伟大的构想变成了一个伟大的经济体系。智能体经济，以及下一批伟大的公司，正在等待同样的信任层出现。而我们可以用同样的方式，共同将其构建出来。
NVIDIA正与整个AI生态系统中的行业领导者合作，通过NVIDIA开放智能体安全平台构建这一基础。我们欢迎前沿实验室、开发者和基础设施提供商加入我们，共同建设。
立即开始使用NVIDIA OpenShell。
Q&A
Q1：NVIDIA开放智能体安全平台是什么？
A：这是NVIDIA推出的一套用于持续监控AI智能体行为的架构方案，包含应用层、运行时层和基础设施层三层结构，旨在为智能体提供隔离、监控和行为检测能力，防止其偏离预期任务或运行约束。
Q2：什么是OpenShell？它有什么作用？
A：OpenShell是NVIDIA开源的安全运行时环境，采用Apache 2.0许可，用于在具有内核级隔离的沙盒环境中执行自主AI智能体。它能将运营者的指令转化为可验证策略，在智能体运行前后检查并执行访问权限限制。
Q3：智能体为什么会出现“漂移”行为？
A：漂移指智能体行为偏离预期任务或运行约束，可能由策略阻断、程序错误、工具缺失、指令模糊，或长时间运行尝试解决难题时产生。这种情况难以通过训练完全消除，因此需要独立的安全控制机制加以约束。
