AI安全本质上是一个工程问题。这意味着需要明确的安全要求、可执行的控制措施、指定的责任人，以及证明防护措施真正有效的证据。
随着AI能力不断提升，整个行业必须加快安全工程建设的步伐，扩大防御工具的可获取性，并更快地分享哪些方法真正有效。
技术在变化，安全的根本原则始终不变
互联网和云计算改变了软件的运行方式，但核心安全职责始终未变：建立身份、控制访问、限制暴露面、验证防护措施是否有效。
AI智能体带来了新能力——推理、使用工具，以及根据所接触的数据调整自身行为。这些能力要求将既有原则应用于新的运行条件之中。
这种发展速度带来了压力。各组织希望获得AI带来的生产力提升，而管理和保护这些系统的实践方法仍在发展当中。
安全取决于完整的智能体技术栈
应用程序依赖于代码、数据、身份、服务和基础设施。安全性取决于这些组件如何协同工作——而AI智能体扩展了这一体系。
模型提供能力；工具外壳（harness）负责组织上下文、工具和工作流；运行时环境则提供执行操作的基础设施。技术栈的每一部分都承担着安全责任，随着数据、指令和操作在系统中流转，恰当的保护需要在每一层都设置控制措施。
设想一个智能体正在更新客户记录的场景。假设它在附带文档中遇到了恶意指令，并试图将客户数据导出到未经授权的目的地。
网络策略应当阻止这次传输，受保护的日志应当记录下这次工具调用尝试、授权决策及结果，以便安全团队识别所使用的工具及其试图到达的目的地。
更新客户记录的权限不应自动扩展为导出该数据的权限。智能体可以请求额外的访问权限，但它不能自行授权这种访问。
将安全构建到智能体的运行方式之中
即使智能体做出了错误决策，安全边界也必须保持稳固。智能体运行所处的环境决定了它被允许做什么，因此必须独立于智能体的推理过程，对文件、网络目的地和进程设置限制。
指令和防护措施可以帮助引导行为，但安全同样需要可执行的边界。
每个智能体都需要可追溯的身份，以及限定于其指定任务范围内的凭证。组织需要明确的政策，规定智能体可以访问哪些信息、可以更改哪些系统，以及哪些操作需要审批。在这些边界之内，重要操作和权限变更仍然需要人工审批。
团队还需要验证智能体所使用的工具、技能和依赖项的来源与完整性。一旦出现问题，受保护的工具调用记录、授权决策和结果记录能帮助调查人员还原事件经过。明确的访问撤销和事件遏制流程能让这些证据真正发挥作用。
NVIDIA OpenShell是一个开源安全运行时，它在智能体触及范围之外强制执行策略，并提供沙盒化执行环境，同时管理智能体如何访问数据、网络和系统资源。Open Secure AI Alliance的合作伙伴正在OpenShell的基础上进行构建：思科的DefenseClaw增加了治理层，JFrog则与OpenShell集成，用于扫描和验证智能体技能，并强制执行智能体可访问哪些技能的策略。
工程团队需要安全性证据
在部署之前，团队需要证据证明恰当的控制措施能够阻止获取超出智能体权限范围凭证的尝试，或阻止向未经授权的目的地发送敏感数据。
测试还应涵盖更改权限或干扰监控的尝试，并在模型、工具或工作流发生重大变更后重复进行。
指定的责任人必须利用这些测试结果来判断系统是否已准备好部署，并确保测试失败会引发相应的纠正措施。在测试或运行中发现的失败情况应被复现、调查并加以解决。每一个发现的问题随后都可以转化为一个可重复执行的测试，让团队能够检验修复方案在未来版本中是否持续有效。
相关案例包括CrowdStrike的SafeMind，它通过重复的攻击模拟来测试和强化防御能力；以及Palo Alto Networks的Prisma AIRS，它在模型和应用发生变化时提供持续的红队测试。
防御者需要在正确的时间获得正确的工具
调查失败情况需要适合特定任务、数据和环境的有力工具。开源模型与闭源模型服务于互补的需求。
闭源模型提供托管式能力和服务，而开源模型则让防御者能够检查相关组件、调整策略，并在自己控制的基础设施上开展工作。
在事件发生期间，这种控制权能帮助团队复现故障，并在自身系统上测试修复方案，同时将敏感证据保留在自己的环境之中。
强大的AI能力可以通过帮助发现漏洞、验证修复方案和调查攻击来支持这项工作。其价值应通过可复现的发现、可验证的修复方案以及加快的响应时间来评估。
相关案例包括Capital One的VulnHunter，用于AI驱动的代码安全检测；以及ReversingLabs的Spectra Assure，用于通过AI分析软件包以检测恶意软件和篡改行为。
通过开放合作将优势转向防御方
分享哪些防护失效、哪些控制措施奏效、以及修复方案如何被验证的证据，能帮助其他团队强化自身系统。
NVIDIA的安全研究以及Open Secure AI Alliance通过将研究成果、实用工具和专业知识带入更广泛的安全社区，支持这种经验交流。
AI安全是一个工程问题。每一次智能体部署都需要可执行的边界、一位负责的责任人，以及证明其防护措施真正有效的证据。开放的研究成果和共享工具能帮助更多防御者达到这一标准，并随着能力的提升不断改进。
Q&A
Q1：AI安全为什么被称为工程问题？
A：因为它需要明确的安全要求、可执行的控制措施、指定的责任人，以及证明防护措施真正有效的证据，这些都是工程实践的基本要素，而非单纯的理论或政策问题。
Q2：智能体技术栈由哪些部分组成？
A：智能体技术栈主要由模型、工具外壳和运行时环境三部分组成。模型提供能力，工具外壳负责组织上下文、工具和工作流，运行时环境则提供执行操作所需的基础设施，每一层都承担着相应的安全责任。
Q3：NVIDIA OpenShell是什么？
A：NVIDIA OpenShell是一个开源安全运行时，它在智能体触及范围之外强制执行安全策略，并提供沙盒化执行环境，同时管理智能体如何访问数据、网络和系统资源，Open Secure AI Alliance的多家合作伙伴正基于它进行扩展开发。
