
今年夏天,Hugging Face 遭遇了一次不寻常的攻击。一个流氓智能体率先出现,随后团队发现,这其实是一场由 700 个智能体组成的集群攻击。为了搞清楚发生了什么,团队需要对攻击日志做取证分析,但他们当时依赖的技术栈——基于 Claude Code 和 Opus——卡住了。模型反复触发安全护栏,拒绝分析这些日志,理由是这些内容涉及一次网络攻击,"我们不被允许处理这种任务"。
这次经历把 Hugging Face 联合创始人 Thomas Wolf 推到了一个此前只在理论层面讨论的问题前:当模型本身因为"安全"而拒绝执行安全工作时,企业还能依靠什么?与他一同做客 NVIDIA AI Podcast 的,是 ServiceNow AI 平台安全部门高级副总裁 Amanda Grady。两人从各自的实战经验出发,讨论了一个行业正在集体转向的判断——护栏不能只长在模型里面。
Jensen Huang 在 GTC Berlin 的主题演讲中提到,过去控制 AI 系统的方式是"请它别这么做",告诉模型不要做某件事。但越来越多的证据显示,这种方式已经不够用了。
1. "请别这么做"失效之后
Amanda Grady 过去两年一直专注于 AI 安全与安全工程,她所在的安全行业有一个坚定的共识:不能只依赖基于大语言模型的控制,因为模型终究是可以被说服的,而真正坚固的边界,是说服不了的。
这不意味着模型内部的训练和护栏不重要——它们依然关键,但不能是唯一的防线。在模型外部设置硬性边界,比如 ServiceNow 正与 NVIDIA Sentry 合作的方案,被她视为安全体系里不可替代的一层。
与此同时,谁能访问哪些模型、谁能部署和定制模型来保护自己的基础设施,正在变成和护栏同样重要的问题。这也引出了一个更大的命题:开源模型和专有模型并不是互相替代的关系,而是协同防御体系里缺一不可的两块拼图。
2. 对抗日志里的网络攻击,答案在开源模型里
Thomas Wolf 描述的那场攻击,恰恰验证了这个判断。被闭源模型拒绝分析取证日志之后,Hugging Face 唯一能继续推进防御工作的方式,是转向开源模型。这次经历让团队意识到,如果整个防御体系只依赖一两家公司的模型,本身就是一种危险的脆弱性。
Wolf 把这归结为 AI 领域里一个更普遍的原则:需要韧性,就需要选择的多样性。网络防御场景尤其需要针对性强、反应极快的"尖刺型"模型——比如专门用来快速分析攻击日志的模型。而现在做到这一点最好的方式,就是训练自己的开源网络防御模型。
他观察到,越来越多的安全团队和网络安全公司已经在这么做:从开源模型起步,微调之后直接装进产品里发布。这背后的逻辑很直接——攻击方是以机器速度运作的智能体,不是人类,所以防御也必须是机器速度的,而且必须是"智能体原生"的设计,不能照搬为人类设计的安全控制逻辑。
3. 身份系统要为智能体重新设计
身份和访问控制,长期以来被安全行业视为"模型外部硬性边界"里最关键的一块。但 Grady 强调,照搬人类世界的身份体系在智能体场景里行不通。
人的数字身份只是一个标识符加一组权限集合,而真正的现实身份远比这丰富。智能体恰恰需要这种更丰富的业务上下文——需要知道它此刻行动的目的是什么,才能判断这个动作该不该被授权。更关键的差异在于时间尺度:人类加入公司后权限相对静态,会随时间慢慢积累;而 AI 智能体是极其短暂的存在,需要的是即时、按需的访问权限。
为此,ServiceNow 搭建了 AI Control Tower 来治理企业内部的 AI,并由此衍生出一个被证实的、带有业务上下文的工件,叫作 AI Passport。NVIDIA Sentry 成为这一体系的首个合作方,在硬件层以毫秒级速度强制执行 AI Passport 的规则。这种硬件层的执行被设计成"带外"——不在智能体运行的同一台主机上——这样一旦发现异常,就能在智能体造成实质损害之前快速撤销其访问权限并将其隔离。Grady 把这种机制形容为更接近"containment(遏制)"而非"kill switch(一键关闭)":可以撤销访问,也可以设置具体的工具约束,让某些动作被阻断,另一些正常的业务动作照常进行。
4. 安全不是刹车,是解锁键
很多人把安全看作速度的对立面——要更快推进前沿,就得牺牲一些安全约束。Wolf 的看法恰好相反:现在真正用到的智能体能力,可能只有 20%,剩下的 80% 要等安全体系到位之后才能被真正释放出来,因为那部分恰恰涉及最复杂的东西——为每一个智能体找到合适的访问权限,为它在企业的行动空间里找到正确的行动方式。
他用自己当父亲的经历做比喻:只有先把家里的电源插座保护起来,他才敢让孩子骑自行车、满屋子跑。企业里的智能体也是这样的"新来的孩子",得先把"电源插座"保护好,才能放心让它们到处活动。而一旦安全到位,AI 承诺的所有好处就会真正兑现——巨大的生产力提升,以及作为物理学家出身的 Wolf 格外看重的一点:加速科学发现本身。他举了个例子,只有先把安全机制建立起来,才能把 AI 真正放进生物学的湿实验室里去加速研发。
Grady 补充了一个互补的角度:安全的终极目的是让业务跑得更顺。她举了人类安全领域里的例子——单点登录、密钥登录(passkey)这类创新,既提升了体验,也提升了安全性。在她看来,安全从来不是约束业务,而是让人更放心地去用更多 AI。
5. 开源为什么反而更安全
开源代码全公开,怎么可能更安全?Wolf 给出了两层回答。第一层是历史已经验证过的事实:现在最安全的操作系统,恰恰是开源系统——Linux 这类 Unix 变体,正是因为有大量贡献者和用户能够共同审视和修复问题,才成为许多企业场景里安全性的黄金标准。
第二层回答指向未来。闭源系统曾经依赖的"隐蔽性"正在消失——AI 模型现在已经能够处理字节级、极低层级的代码,反向理解其中的逻辑。往后再推进几代模型,这种能力只会更强。Wolf 的判断(他自己也承认这还只是一个待验证的个人观点)是:security by obscurity(靠隐蔽实现安全)这条路,撑不了多久了。过去人类花再多时间也很难逆向工程出所有复杂性,但模型的"精力"是恒定、持续在线的,和它比拼隐蔽性,长期来看是一场打不赢的仗。既然藏不住,不如拥抱开放。
Grady 对这个判断的反应很直接:"你说到我心坎里了。"她同样坚信不能依赖隐蔽性做安全,并补充说,在 AI 的速度下,任何隐蔽的漏洞都会被很快找到。这也是为什么她不希望 ServiceNow 是 AI Passport 唯一的发行方——她希望它成为一个开放的行业标准,让治理标准、运行时速度和业务上下文判断能够被更广泛地采用。
6. 物理世界里的智能体,安全是另一种重量级
话题转向物理 AI 时,Wolf 把这件事的紧迫性又提高了一层。智能体已有的所有安全挑战,叠加上物理形态之后,会多出一个变量:会和真实的人发生物理接触。一个 80 到 100 公斤的人形机器人如果失控倒下,对身边的人是切实可感的危险。
Hugging Face 在设计开源机器人参考架构时,试图把安全知识从一开始就嵌入进去。Wolf 提到了当天早上与 Jensen Huang 同台展示的 Microduck——这款机器人被设计得极度安全:体型很轻,没有手臂,从物理结构上就降低了可能造成的伤害。开放的参考架构,让更多人可以从一个已经内置安全考量的起点开始搭建和迭代,而不是从零摸索。
