随着AI智能体进入生产环境，从请求到结果之间的路径正变得越来越难以预测。智能体可以自主选择工具，并在执行过程中随时调整方向，这使得在没有明显错误可追踪的情况下，故障诊断变得更加困难。
Nvidia产品副总裁阿德尔·埃尔·哈拉克（Adel el Hallak）近日在接受The New Stack采访时，谈到了随着智能体承担更复杂的工作，开发者将需要哪些额外的可见性。
Nvidia还参与了一项行业合作，旨在共享企业在系统发生故障时获得的经验。安全智能体发现交流机制（Secure Agent Findings Exchange，简称SAFE）获得约140家企业支持，目标是借鉴传统软件漏洞披露的做法，为智能体故障报告建立共享基础设施。
埃尔·哈拉克对The New Stack表示：“当我们发现这些漏洞时，这不仅仅是为了某一家公司，而是为了让所有人都能够据此修补问题。”
但智能体的故障未必能追溯到单一组件，这给开发者提出了一个更基本的问题：当智能体出现故障时，到底该调试什么？
传统可观测性为何力不从心
对于传统软件，当出现问题时，开发者通常都有一个明确的起点，无论是异常报错、请求失败，还是服务宕机。而智能体即便走偏了方向，仍可能持续运行，将早期的错误一路带入任务的后续环节，却不会产生任何看起来像传统软件故障的现象——用埃尔·哈拉克的话说，它只是在不该“发挥创造力”的时候“发挥了创造力”。
即便是表现最好的编程智能体，在来自真实代码库的任务中，失败率也超过60%。然而，知道智能体失败了，和知道它为什么失败，完全是两回事。
埃尔·哈拉克对The New Stack表示：“仅仅查看日志或者输入输出是不够的。重要的是要弄清楚它是如何得出答案的。它的推理轨迹是什么？它用了哪些工具？它在哪里卡住了？它在哪个环节决定尝试新方法？”
这往往需要回放智能体的执行过程，才能找出它偏离轨道的位置。表面上看是模型出了问题，实际源头可能在技术栈的其他地方。这正是开发者面临的棘手之处：智能体的故障，未必就是模型的故障。
运行时作为信息采集点
Nvidia认为，运行时是采集大部分此类信息的合理环节。其OpenShell智能体运行时位于NemoClaw平台之下，负责沙箱隔离和策略执行，同时为智能体的执行过程提供可见性。
埃尔·哈拉克将OpenShell称为Nvidia参考架构中唯一不可妥协的组件。
他对The New Stack表示：“你可以更换任何你需要的编排框架，我甚至愿意让你使用任何你需要的模型。但我们始终要依托的治理机制，那个安全开放的运行时，就是OpenShell。”
Nvidia将智能体技术栈分为三层：模型提供智能，编排框架负责协调其工作，运行时负责治理执行过程。当智能体出现故障时，问题未必出在模型本身。
例如，Nvidia的NOAH研究表明，在保持底层模型不变的情况下，更换编排框架可以提升智能体的表现，这也意味着一个匹配不佳的编排框架会拖累原本能力出色的模型。
埃尔·哈拉克对The New Stack表示：“每个模型都不一样，有些可能比其他模型更‘话痨’。确保编排框架与模型要么协同开发，要么拥有针对特定模型的配置文件，是一个新的突破点。”
将安全视为系统工程
Nvidia首席执行官黄仁勋曾将AI安全描述为一个工程问题，埃尔·哈拉克将这种方法与传统软件测试做了类比。
他对The New Stack表示：“如果你的软件存在漏洞，你不会发布它。你会持续修复，直到它通过所有测试。”
智能体让这种模式变得复杂，因为要复现一个故障，往往需要重建整个系统中发生的一切，这就需要相应的监测手段，而监测本身也有成本。OpenAI发现，对于其能力最强的持久化智能体，监测大约会给推理算力带来20%的额外开销。
Nvidia的方案结合了受治理的编排框架、沙箱化的运行时，以及旨在保护模型和用户数据的机密计算技术。
埃尔·哈拉克对The New Stack表示：“有些方法可以让你的保障机制一路延伸到芯片层面。”
SAFE机制将这种工程方法延伸到单一企业系统之外，为各组织共享智能体故障经验建立了基础设施。
智能体互相调试
CrowdStrike正在利用多年积累的安全数据，对Nvidia的Nemotron模型进行微调，打造成对的智能体，一个负责发现漏洞，另一个负责修补漏洞。
如果任意一个智能体出错，最终的输出结果未必能揭示原因。例如，一个糟糕的补丁，可能源于模型本身，也可能源于智能体的执行路径，或者它在过程中使用的工具。
埃尔·哈拉克对The New Stack表示：“对于某项具体任务，我不需要通用型智能体，我需要的是专业化。”
随着企业围绕日益专业化的工作流构建智能体，这些故障可能不会体现在通用型模型的基准测试或安全测试中，这就给开发者理解执行过程中到底发生了什么带来了更大压力。
走向共享故障报告机制
对于平台团队来说，找到故障只是第一个问题，重建足够多的智能体执行信息以理解故障成因，则是另一个问题。
SAFE机制的目标是让这些发现在发现它们的公司之外也能发挥作用。传统软件已经建立了共享漏洞和修复方案的成熟体系，但对于智能体故障，目前还没有类似的机制。其目标是避免每个团队都不得不独自重新发现同一个故障。
Q&A
Q1：AI智能体为什么比传统软件更难调试？
A：因为传统软件出错时通常有明确起点，比如异常报错或服务宕机，而AI智能体即便走偏方向也会持续运行，不会产生明显故障迹象，这使得定位问题更加困难。
Q2：SAFE机制是做什么的？
A：SAFE全称Secure Agent Findings Exchange，由约140家企业支持，旨在借鉴传统软件漏洞披露经验，为AI智能体故障建立共享报告基础设施，让一家企业发现的问题能帮助全行业共同修补。
Q3：Nvidia的OpenShell在智能体系统中起什么作用？
A：OpenShell是Nvidia的智能体运行时，位于NemoClaw平台之下，负责沙箱隔离和策略执行，并为智能体执行过程提供可见性，是Nvidia参考架构中唯一不可替换的核心组件。
