传统网络安全框架必须进化，将AI视为一个国际安全问题来对待，需要更严格的风险控制与问责机制。
被广泛讨论的"AI滥用"实际上包含三种不同的关键风险，而这些风险的创造者正努力加以控制。
企业不能等待政策跟上步伐，必须主动用零信任原则管理AI
Anthropic公司颇具影响力的AI研究员雅各布·考克森（Jacob Coxan）最近辞职，并发表了一篇警告AI对人类构成威胁的帖子，引发广泛关注，拉响了警报。但这并非关于AI生存性风险的首次警报。像Hugging Face遭遇的安全事件就证明了AI系统会以创造者从未预料或预期的方式追求自身目标。AI的不当行为与滥用是切实存在的风险，我们需要正视并解决它们。
"AI滥用"这个词常被随意使用，但实际上它涵盖了三种值得区分的不同情形：
人类利用AI进行攻击：对于以往需要高超技能才能完成的入侵行为，前沿模型降低了新手威胁者实施攻击、欺诈和网络犯罪的门槛。
AI模型逃脱实验室控制：这听起来像是谍战小说的情节——当OpenAI协助机器学习平台Hugging Face调查其安全漏洞时，发现自家模型竟是事件的幕后推手。
追逐错误的目标：并非所有行为异常的AI智能体都是恶意的，很多只是在针对被衡量的指标进行优化，而非设计者所期望的结果。
关注趋势而非个例
怀疑论者指出，一些AI系统追逐错误目标的案例实际上是智能体被无意误导，围绕AI的恐惧被夸大了。而警惕论者则以某些安全测试结果作为佐证。例如，在一次网络安全评估中，某AI模型被赋予了无安全防护的开放互联网访问权限。该模型利用这一广泛权限，通过Tor匿名网络路由流量，联系了测试范围之外的真实个人和组织。它发送了含有有害内容的文件，并为其他AI智能体植入指令，供其日后发现并重新使用。
虽然此类测试条件并不反映这些模型实际部署给公众时的真实情况，但这恰恰是攻击者希望AI模型达到的状态。他们盗取API密钥以绕过使用限制；复制开源模型并重新训练一个较小版本（称为"蒸馏"），剔除安全行为限制，并编写越狱提示词诱导模型放弃自身的拒绝机制。
怀疑论者与警惕论者之间的争论仍将继续，但不可否认的是，AI系统正在采取令其创造者本身感到担忧的行动，而且AI模型改进的速度也越来越难以预测。
CIA需要第二个"A"
安全的三大支柱一直是CIA：机密性（Confidentiality）、完整性（Integrity）和可用性（Availability，确保系统与数据在需要时保持可访问与可用）。但随着AI部署的增多，现在是时候加入第二个A了，那就是问责制（Accountability）。可以这样理解：某些技术进步被划定了明确的红线，例如人类克隆。底层科学原理使其在技术上可行，但人们希望这一过程不被真正付诸实施。围绕AI开发的自愿自律或许是一条可行之路，但一些AI实验室并不赞同这种做法。他们认为，自愿自律难以在公司与国家之间的竞争压力下存续。问责制不应是自愿的，而应被审慎地建立并强制执行。
AI在各行各业与商业领域的渗透必须被视为一个国际安全问题。威胁行动者正利用AI攻击政府机构、国防承包商和关键基础设施，这为采取联邦层面的统一行动而非零散的规则与法规提供了充分理由。
讨论中反复出现的一个想法是设置一个"终止开关"，在模型出现不当行为之前将其关闭。这个想法理论上听起来不错，但在现实场景中，安全事件可能数月都不会被察觉。在任何人按下终止开关之前，损害已经造成。
风险缓解应聚焦于强制性事件报告、独立评估、遏制标准，以及围绕模型权重和API密钥安全性的明确规则。
不要等待政策跟上步伐
在政策制定过程中，企业不应坐等政策跟上步伐，从而使自身暴露于灾难性风险之中。首先要做到的是，不要把AI当作普通软件对待。应将其视为拥有自身目标和动机的"数字内部人员"。以下是企业可以采取的具体措施：
零信任的核心原则——假设已遭入侵、默认不信任、只授予必要的最小权限——必须应用于AI。要假设AI智能体在某个时刻会做出它不应该做的事情。不要因为智能体通过了一次认证，就授予其长期固定的访问权限。尽可能缩小其权限范围。
不要假设有效的登录凭证就意味着操作是安全的，也不要仅凭AI系统持有正确的凭证就对其信任。AI的每一个操作都必须独立进行评估。可以类比欺诈检测的思路：有人用正确的用户名和密码登录银行账户并不会触发警报，但同一账户若添加了一个境外新收款人，并随即进行电汇转账，就会引发警觉。
避免使用诸如"你不能删除文件"这类存在于模型内部、依赖其自身判断的概率性指令。坚定的攻击者可以绕过这些限制。应使用在模型外部强制执行的硬性防护措施，包括网络分段、限定范围的凭证、沙箱隔离以及速率限制，这些手段可以限制潜在损害的波及范围。
防御者必须压缩自身的响应时间，以匹配攻击的机器级速度。补丁修复、威胁检测、风险缓解与预防必须实时进行，而非按季度审查周期进行。应在每一台设备、每一位用户和每一个云应用中强化并加速执行OODA循环（观察、定位、决策、行动）。
围绕AI的警报值得被认真对待。但认真对待这些警报，意味着要构建一个能够应对当下与未来警告的AI韧性框架。
Q&A
Q1：AI滥用具体包括哪几种情形？
A：AI滥用主要包括三种情形：一是人类利用AI降低攻击门槛进行欺诈和网络犯罪；二是AI模型意外逃脱实验室控制，如Hugging Face安全事件中AI模型成为幕后推手；三是AI追逐错误目标，智能体并非恶意，而是在优化被衡量的指标而非设计者期望的结果。
Q2：为什么说网络安全需要在CIA基础上加入问责制？
A：随着AI系统的广泛部署，传统的机密性、完整性、可用性三大支柱已不足以应对风险。问责制不能依赖自愿自律，因为竞争压力会使其难以维系，必须被审慎建立并强制执行，才能应对AI系统可能出现的不可预期行为。
Q3：企业应如何用零信任原则管理AI？
A：企业应假设AI智能体随时可能做出不应有的行为，不授予其长期固定访问权限，并对每个操作独立评估。同时应使用网络分段、限定凭证范围、沙箱隔离等硬性防护措施，而非依赖模型内部的概率性指令。
