当自主AI智能体协同工作时，验证其行为、强制执行安全策略并维持问责制变得愈发困难。
本文由贝尔法斯特女王大学供稿。
全球多个团队正在利用AI技术，构建由编排器管理的智能体任务组，并开发应用程序以支持风险评估、客户画像、匹配撮合和信息产出，同时对决策过程进行一定程度的概览。这些智能体的一个重要组成部分是确保日志得到妥善管理，历史相关信息不会被用来导致决策偏向一致性。因此，系统应当设置检查点，在该节点提示智能体删除此类历史相关信息。
然而，尽管这种方法已经就位，未来的某个提示仍可能促使智能体重新调出本应被删除的信息，并被诱导泄露更多内容，这就是典型的上下文恢复攻击案例。由此引出的问题是：我们如何确信指令已被执行？证据又在哪里？
业界存在一种利用零信任架构（ZTA）来编排和管理智能体活动的思路，其核心原则简而言之就是"从不信任，始终验证"。零信任架构的组件包括策略执行点（PEP），而该组件本身必须被信任才能维持整个系统的信任链，因此剩下的问题是：零信任的组件究竟在哪里？我们是否应该信任PEP所强制执行的策略？
秉持支持智能体发展的态度并善用智能体，在配备恰当防护机制的前提下会大有裨益。但若将系统开放给基于现成模型训练的随意智能体，并盲目依赖它们，则可能带来重大的网络安全风险。例如，利用AI模型辅助开发软件的"氛围编程"（vibe coding），若将整个代码库交给组织外部的不可信实体，可能导致漏洞在多个层面蔓延。
利用AI模型辅助开发软件的"氛围编程"，若将整个代码库交给组织外部的不可信实体，可能导致漏洞在多个层面蔓延。
这引出了关于氛围编程如何干扰智能体查询可信执行的定位与实施方面的关键讨论。设想一个依赖智能体输入来驱动运营的自主智能体网络。当系统在低容错率、且无跟踪机制的智能体工作流下运行时，实时信任并验证每一次查询可能在计算上代价高昂，这就导致了内存与执行效率之间的常见权衡。
另一个需要考虑的风险是零日攻击。一旦发生，系统将如何应对？这类事件是否能在不导致整个基础设施崩溃的情况下得到管控？从仅依赖单一信任层的智能体生态系统的过度依赖中，可以观察到影响的规模之大。这意味着一旦发生故障，整个生态系统都可能暴露无遗，正如如果骨干网络不可用，就不存在自主性可言——本质上也就没有任何层级可以寄托信任。
去认证攻击的发生速度能有多快？
贝尔法斯特女王大学（QUB）进行的一项内部实验，初步揭示了智能体攻击的规模如何意味着更短的脆弱性窗口期。研究团队重点关注了非常流行的去认证攻击，结果显示，借助智能体编排，实施去认证攻击的速度最低可缩短至2到3秒。这几乎没有给系统留下任何反应和修补的时间。
大规模智能体系统还涉及另一方面，即在异步自主性条件下建立信任。信任是可追溯性的关键基础。如何确保所有朝着共同目标运作的智能体彼此协调一致，并理解与各自目标相关的延迟？
我们的团队围绕这一领域展开了工作，首先证明了这一问题确实存在，并且在异步自主性的边界条件下证明信任时，其影响和规模可能是巨大的。此类问题的解决方案可以通过保留诸如AI物料清单之类的措施来简化，或者利用分布式账本技术，通过可追溯性和不可篡改性提供底层信任基础设施，使智能体活动及相关信任向量与具体平台无关。
在信任范畴内，另一个尚未被充分探索但亟需深入研究的因素是"横向异常"概念。它描述了智能体在不同环境下与各类信息源进行不同交互的方式。当智能体针对某一特定任务或应用表现正确并符合架构预期时，并不意味着它们在所有相关组件上的操作都可以被信任。如何识别此类异常，以及在不迁就这些智能体的前提下可以采用哪些方法，仍是悬而未决的问题，有待进一步探索。
关键之处在于，在半低程度信任治理下利用智能体虽能带来短期高收益，但系统发生故障时的恢复成本尚待探明，而且这绝非一个可被限定范围的问题。我们正在研究的系统中，智能体已经渗透进不同的实体，可能无法实现完全恢复。例如，仅仅因为某个智能体失控而引发的供应链问题，如今已不再是一个可控的小任务，而需要对所有受影响智能体的接触点进行全面排查。这本质上意味着，无论智能体数量多少，以及它们触发代理智能体（可能并不直接关联于更广泛生态系统）的能力如何，都有必要确保为所有智能体配备在计算上代价高昂的追踪机制。
我们研究小组开展的其他相关博士研究还涉及AI主权问题，探索信任与问责的相关层面。我们的假设是，主权与信任需要协同治理，因为溯源责任高度依赖于智能体的宿主方。因此，这需要理解规范基于信任的AI执行的相关法律。这里的重要挑战在于，信息缺失与指令缺失之间存在本质区别，二者在可信问责方面的影响也截然不同。
真正的零信任架构真的存在吗？
这类系统在现实世界中面临的真正问题在于，未能采纳历史上依赖基于状态建模来管理信任的方法。在智能体自主性较高的无状态系统中，信任溯源的收敛性和可靠性会显著下降。因此，这又把我们带回了最初的问题——真正的零信任究竟是否存在？
策略是否可以被信任？如果可以，又该如何在不陷入基于策略的可访问性与控制问题陷阱的情况下对其进行管理？尽管有观点认为PEP有助于管理智能体之间的访问权限，但将单一实体置于中心位置，并期望它能够扩展到涵盖所有智能体交互，这其实是低估了问题的复杂程度。
信任的形式化验证是基于信任的智能体生态系统的另一组成部分。在处理AI模型时，理解其稳健性有助于为这些模型建立信任。
为了论证并解决智能体AI中信任嵌入所面临的挑战，在网络安全AI中心（Cyber AI hub）内，我们正在探索帮助企业扩大规模、并为商业可行性构建智能体应用管线的机会。然而，指导我们日常工作与决策的核心要素包括：问题的规模与智能体部署的数量、跨智能体工作流的异常检测、对攻击面的持续评估与漏洞评估，以及探索纯粹智能体AI与任务驱动型多智能体系统之间的差异。
我们正与那些将信任视为先决条件的行业合作，这些组织将信任作为通过内部策略管理的防护机制，其重点在于通过策略来确保系统安全，而非信任第三方智能体服务提供商。此外，服务中的信任是通过围绕其服务模式设定约束来体现的，智能体活动通过日志进行跟踪和管理，包括根据应用类型管理其Token撤销列表，以避免重放攻击。信任的形式化验证是基于信任的智能体生态系统的另一组成部分。在处理AI模型时，理解其稳健性有助于为这些模型建立信任。诸如平衡对抗准确性与经认证的对抗鲁棒性之类的措施，有助于确定模型的可信程度。
但问题在于，在现实世界部署智能体时，我们能否接受任何未达到万无一失标准的方案？如果可以，又有多少影响能够得到控制，剩余部分的责任又该由谁承担？
参考文献
Wickremasinghe G, Sandjaja FR, Rafferty K, Sharma V. State-verification in asynchronous blockchain-driven agentic AI systems. 40th International Conference on Information Networking (ICOIN) 2026 Jan 14 (pp. 139-144). IEEE.
Sandjaja, F. R., Abdul Majeed, A., Abdullah, A., Wickremasinghe, G., Rafferty, K., & Sharma, V. (Accepted/In press). Policy design in zero-trust distributed networks: challenges and solutions. In Industrial Networks and Intelligent Systems: 12th EAI International Conference, INISCOM 2026: (to appear in proceedings).
Melis M, Del Rincon JM, Sharma V. Improving Certified Robustness via Adversarial Distillation. arXiv preprint arXiv:2606.31653. 2026 Jun 30 (Accepted to appear in BMVC'26).
