人工智能智能体已悄然渗透企业工作流程,无论企业是否意识到这一点。

国际数据公司(IDC)预测,到2027年,智能体AI将在企业中全面部署。高德纳公司(Gartner)估计,到今年年底,40%的企业应用将集成特定任务型智能体,而这一比例在2025年初还不足5%。

然而,这些智能体所依赖的应用程序编程接口(API),当初并非为它们而设计。这些API面向人工驱动的应用程序构建,默认开发者具备隐性判断能力。如今,企业跨团队、跨供应商、跨遗留系统管理着数以千计的API,其中许多既无文档记录,也缺乏统一管理。这种失控局面本已是隐患,智能体的介入更将其升级为危机。

智能体不仅可能产生文本幻觉,还可能产生"动作幻觉",而定义模糊的API则会大幅放大这一风险。一个接入金融系统的智能体若误解了某条指令,可能通过被滥用的API端点发起未授权付款、错误修改记录并泄露敏感数据,这一系列后果可同时发生。

这绝非假设性场景。2024年,攻击者向某大型金融机构发送了一封内嵌隐藏指令的电子邮件,导致AI助手批准了总计230万美元的欺诈性电汇转账。智能体做的完全是它被设计来做的事,而API根本无从分辨其中的区别。

更为棘手的是,在任何人工干预介入之前,智能体可以以机器的速度和规模持续运转。一旦防护措施不足,损害的积累速度将超出任何人的察觉能力。

构建坚实的安全基础

应对AI智能体带来的风险,最有效的方式是聚焦于经过验证的安全实践,尽管这些实践目前往往落实得参差不齐。具体来说,包括以下几个方面:

资产清点

你是否清楚企业所有API的位置?企业应建立覆盖整个生命周期的API目录,而不仅仅是当前生产环境中在用的部分。

策略制定

为智能体和API的行为制定明确的治理规范。当操作越界时应如何响应?完善的策略应包括对每个字段的Schema优先验证、身份认证、访问频率限制,以及健全的持续集成/持续部署流程。

策略执行

策略必须被主动执行,而非仅停留在文档层面。这意味着要在所有API和智能体交互中一致地应用管控措施。

异常检测

部署具备识别和响应异常行为能力的监控机制,系统应能在行为偏离正常模式时及时发出警报并采取行动。

约束智能体的行为边界

下一步是推行最佳实践。首先要约束AI智能体的行为范围:梳理工作流程,预判潜在的不良后果。这一过程需要投入时间,并结合来自熟悉相关业务流程的跨职能人员的意见。约束并非对智能体能力的限制,恰恰相反,它是使智能体可靠、有效且安全运行的前提。

其次,要实施权限感知的数据访问控制和确定性执行边界。智能体应以明确定义的身份、角色和最小权限原则运行。但还需更进一步:执行边界明确规定了智能体被允许执行的具体操作,而不仅仅是它能访问的数据范围。这是"控制智能体知道什么"与"控制智能体能做什么"之间的本质区别。

使用意图日志记录是另一项不可或缺的实践。需完整收录用户提示、智能体的推理步骤、拟议操作、人工审批或拒绝结果,以及最终执行结果。这将形成一条完整的审计追踪链,帮助判断智能体随时间推移是在持续改进还是在逐渐退化。

记录推理过程以满足合规要求

这一方法与关键监管要求高度契合:使用意图日志记录直接对应《健康保险流通与责任法案》(HIPAA)45 CFR §164.312(b)中关于审计控制的技术保障标准。企业必须记录完整的执行链:初始提示、推理步骤、预期操作以及最终的人工干预情况。当智能体以自主方式大规模执行变更性API调用时,这份高保真日志流将决定一次安全事件是能够向监管机构作出合理解释,还是彻底沦为合规失败。

数据管理同样不容忽视。智能体应仅能访问当前任务所需的数据,不得超出范围。需强制使用临时容器,对静态、传输中及使用中的数据实施加密,在数据进入模型前清除个人身份信息,并在可能的情况下与子处理商签订零数据留存协议。如果监管机构询问智能体接触了哪些数据,企业应能给出精准的回答。

简化AI供应链同样重要。过多的工具、模型和集成无法规模化运转,只会制造安全盲区和治理漏洞。技术栈越复杂,维持可观测性和管控能力就越困难。

行政管控措施是整体方案的最后一环,包括紧急停用开关、基于用户和用户组的访问控制,以及模型上下文协议(MCP)服务器白名单。治理力度还应根据部署阶段进行差异化调整:实验性项目需要较大的灵活空间,而生产系统则要求更严格的管控、审计和合规框架。

负责任地释放智能体潜力

上述措施的目标并非阻碍AI智能体的应用,而是构建使其值得部署的坚实基础。攻击者不会费心为AI智能体开发全新的漏洞利用手段,他们会直接找到那个你忘记纳入清单的API、那个权限范围过宽的OAuth Token,以及那个导致无人察觉异常的日志盲区。

AI智能体的崛起及其对API的深度依赖,要求企业对API管理采取更为严格的态度。智能体时代不需要全新的安全原则,它需要的是将已有的成熟原则切实落地执行。正确的防护措施不会束缚智能体的能力,恰恰是这些措施,使智能体值得被信任,从而能够承担更多任务。

把API治理做好,风险的影响半径就会收缩;一旦做错,它的扩散速度将超出任何团队的应对能力。

本文作者Chehab现任Postman公司安全与IT负责人,原文发表于SiliconANGLE。

Q&A

Q1:为什么说API管控薄弱在智能体AI时代是最大威胁?

A:因为AI智能体高度依赖API执行操作,而企业现有的大量API并非为智能体设计,许多缺乏文档和治理。智能体不仅可能产生文本幻觉,还可能产生"动作幻觉",在无人干预的情况下以机器速度持续执行错误操作。2024年就曾发生因API未能识别隐藏恶意指令,导致AI助手批准230万美元欺诈转账的真实案例。

Q2:企业应该如何建立AI智能体的API安全防护体系?

A:核心分为四步:一是建立完整的API资产清单,覆盖全生命周期;二是制定明确的治理策略,包括Schema验证、身份认证和访问频率限制;三是主动执行策略而非仅做文档记录;四是部署异常检测机制,实时识别偏离正常行为模式的操作。此外,还需对智能体设定最小权限和执行边界,并保存完整的使用意图日志。

Q3:使用意图日志记录对合规有什么帮助?

A:使用意图日志需完整记录用户提示、智能体推理步骤、拟议操作、人工审批结果和最终执行情况,直接对应HIPAA 45 CFR §164.312(b)审计控制技术标准。当智能体自主大规模执行变更性API调用时,这份日志是向监管机构证明合规性的核心依据,决定了安全事件是可以合理解释还是彻底的合规失败。

SiliconANGLE