这项新的SASE功能可追踪不可信内容如何影响AI智能体,并能在其采取行动前进行干预。

Cato Networks本周推出了AgentSense,这是其基于云的安全接入服务边缘(SASE)平台内置的一项新安全功能。该公司表示,这项功能可以阻止AI智能体执行由不可信内容引发的有害操作。

Cato首席执行官兼联合创始人Shlomo Kramer在新闻稿中表示:"赋予智能体更大的自主权,需要能够在其行为造成损害之前进行干预的安全机制。我们对AgentSense的愿景是,让企业有信心将关键业务流程交由智能体处理,同时保持对其运作方式的控制力。"

该功能的首个版本针对的是间接提示注入攻击,即智能体在执行任务时读取的材料中嵌入了指令。这种情况可能出现在网页、电子邮件、文档,或智能体所使用工具返回的响应中。Cato表示,一个拥有合法权限访问公司数据和工具的智能体,即便用户的原始请求只是常规操作,也可能被诱导泄露敏感信息或执行未经授权的更改。

AgentSense如何评估操作行为

Kramer在产品发布简报中解释说,智能体"可能拥有完全正确的权限,却仍然做出错误的事情"。

为解决这一问题,Cato开发了"不可信影响检测"(Untrusted Influence Detection)技术,用于在AI会话中区分可信指令与不可信内容。该技术会追踪不可信内容如何影响某项拟执行的操作,并能在操作执行前将其阻止。Cato表示,这种方法能够捕捉到那些不符合已知攻击模式的攻击尝试。

该公司解释称,AgentSense可适用于各类AI智能体,管理员可通过Cato SASE平台中的一个开关来启用该功能。该功能内置了三项规则,分别用于应对:不可信输入诱导智能体执行高风险操作、敏感信息即将被外泄、以及由不可信输入驱动的关键资源变更。

Cato描述的一个案例中,某开发人员要求Claude Code搭建一个测试环境。在为该任务收集信息的过程中,智能体读取了一个网页,而该网页中的内容指示其修改一个敏感的本地文件。AgentSense追踪到这一拟执行的修改操作源自该网页,并在Claude Code修改该文件之前将其阻止,使得环境搭建任务未能完成。

在针对Agent Dojo基准测试的内部测试中,Cato报告称,在未采取额外防护措施的情况下,攻击成功率约为19%,而启用AgentSense后,该比例降至0.05%,同时仅增加不到3%的延迟。Cato计划推出的"偏离检测"(Drift Detection)功能还将检查智能体的操作是否仍然符合用户最初任务的目的。Kramer在简报中表示,其目标是"阻止偏离智能体原始任务目的的操作"。

该公司还计划推出控制功能,用于限定智能体可访问的资源范围,包括其可访问的数据。AgentSense目前已向Cato客户开放使用,且包含在Cato AI Usage许可证中,不另行收费。

伴随此次发布,Cato还公开发起了一项挑战赛,邀请参与者测试由AgentSense保护的AI智能体工作流程。该公司表示,最先完成挑战的三名符合资格的参与者将各获得1万美元奖金,并表示将利用参与者的发现来评估和改进该防护机制。

Networkworld