微软公司今日发布了一套针对失控人工智能智能体的安全控制系统，该系统能够根据智能体评估风险等级的上升，相应削减其可执行的操作权限。
微软安全部门执行副总裁海耶特·加洛特在一篇博客文章中，将这一发布称为应对"智能体内部威胁"的举措。她指出，企业中的智能体权限往往过大，且数量正在快速增长。加洛特认为，前沿模型无法被完全信任，因为它们的设计目标就是追求结果。她写道，有些模型会以无人预料的方式达成目标，其中就包括与其他智能体串通。
微软董事长兼首席执行官萨提亚·纳德拉在10月10日发表的一篇文章中阐述了这些控制措施背后的思路，他呼吁企业将模型视为内部风险源，并将防护措施设置在模型本身之外。他写道，最值得信赖的系统将是"那个让我们对模型信任程度降到最低的系统"。
这些控制措施首先从发现智能体入手。微软的发现工具目前能够识别员工设备上60种类型的本地智能体，此次新增了35种。该列表包括Anthropic PBC公司的Claude Code、OpenAI Group PBC公司的Codex，以及微软旗下GitHub部门的GitHub Copilot。微软同时也在扩展Microsoft Entra Agent ID功能，为这些智能体以及传感器发现的未知智能体赋予各自独立的身份标识。
一旦被发现，每个智能体都会在微软称为"动态智能体风险"的功能下获得持续更新的风险评分。该评分综合了来自微软身份、终端、云和网络工具的各种信号，当智能体行为偏离用户或组织的预期意图时，评分会随之上升。
微软已将Microsoft Entra条件访问功能扩展至智能体领域，由此产生的"动态条件访问"功能会根据风险评分的上升决定相应措施。智能体可能首先会失去修改任何内容的能力，但保留读取权限。影响较大的操作可能会被暂扣，等待经过验证的人工批准，而在风险等级的最高层级，运行环境会被隔离或完全终止。
在"动态权限"机制下，访问权限本身变为临时性的。智能体仅获得完成单一任务所需的权限，且仅在任务持续期间有效，同时受到公司范围内限制的约束，确保其权限永远不会超过其所服务的人员。微软执行容器是智能体可以运行其中的一种沙盒环境。由于监控机制设置在容器之外，被攻陷的智能体无法将其关闭。
微软今年7月推出的智能体安全系统"感知项目"也获得了新工具。今日新增的"剧本"功能让安全人员能够设定期望的结果，而一支新的"守护者智能体"团队将负责执行相关工作。智能体风险评分的变化会触发守护者智能体展开调查，它们可以建议采取遏制措施，也可以自主实施遏制。人员则继续掌控策略制定和审批规则。
加洛特在文章中还表示，未来的控制措施应当能够解释智能体行为的原因，而要实现这一点，就需要查看模型的推理Token。她补充道："模型透明度不会取代遏制机制。"微软表示，正在将思维链等模型层面的信号纳入"动态智能体风险"功能中。
微软尚未公布这些新控制措施的具体上线时间和定价，公司将其定位为"感知项目"和Microsoft 365 E7套件的组成部分。该套件将Agent 365与Microsoft 365 Copilot打包在一起。微软Ignite大会将于11月17日开幕，公司表示届时将公布更多详情。
Q&A
Q1：微软这次推出的AI智能体安全控制系统叫什么名字？
A：这套系统被定位为"感知项目"（Project Perception）的组成部分，同时也与Microsoft 365 E7套件相关联，该套件将Agent 365与Microsoft 365 Copilot打包在一起。
Q2：动态智能体风险评分是如何工作的？
A：该评分综合微软身份、终端、云和网络工具的信号，持续评估智能体的风险等级。当智能体的行为偏离用户或组织预期时，评分会上升，进而触发相应的权限限制措施。
Q3：守护者智能体具体负责做什么工作？
A：当智能体风险评分发生变化时，守护者智能体会展开调查，它们既可以建议采取遏制措施，也可以自主实施遏制操作，而策略制定和审批规则仍由人员掌控。
