即便顶级AI公司仍在以稳定的节奏不断发布能力更强的竞争模型，这些公司如今也开始联手制定AI安全标准。
据The Information报道，谷歌、OpenAI和Anthropic据称正在合作创建一个暂定名为"前沿AI标准管理局"（Standards Authority for Frontier AI，简称SAFA）的机构。该机构将独立于政府管控运作，并针对前沿AI模型的风险评估、测试以及发布前审查实践制定指导方针。接近此事的人士表示，该计划的目标是在2027年初正式启动。
这一消息传出的同一周，包括Anthropic首席执行官达里奥·阿莫迪和OpenAI首席执行官萨姆·奥特曼等顶尖AI公司负责人，呼吁联合国为他们正在构建的这项技术制定防护措施，以防止其变得过于强大而无法控制。此外，OpenAI本周也发表声明，强调让AI的持续进步"安全且有益"的重要性。
随着阿莫迪等人就AI的危险性发出警告，尤其是在模型日益增长的递归式自我改进（RSI）能力方面，企业希望得到保证，确保自身及其客户能够免受日益增长的AI风险的侵害。
归根结底，独立技术分析师卡米·利维表示："企业关心AI的方式，与他们自技术诞生之初关心每一项其他技术的方式相同。唯一真正的区别在于，随着AI笼罩整个科技领域，变化的速度不同了。"
OpenAI的警告与护栏呼吁
近几周和几个月来，围绕AI安全的担忧不断升级，这是由一些令人不安的事件引发的，例如自主运作的OpenAI智能体突破沙盒限制对Hugging Face发起的攻击。
在本周的博客文章中，OpenAI认为，安全且有益的AI进步需要在对齐研究方面取得进展，同时还需要共享标准，包括达成一致的基准线、通用的衡量方法以及事件报告协议。事实上，这类国际标准"对于把控前沿技术发展节奏的重要性，可能不亚于对齐研究本身"。
该公司表示，美国AI标准与创新中心（CAISI）等现有机构、其他联邦框架、州级法规以及新形式的公私合作伙伴关系可以共同推进这一使命。
OpenAI指出："完全自主的递归式自我改进目前尚未出现，除非且直到能够安全实现，我们不应追求这一目标。是否推进以及如何推进，必须取决于我们保持人类控制的能力，以及在收益与风险之间做出的知情民主选择。"
企业真正关心的是什么
利维指出，尽管监管确实是AI辩论中日益关注的焦点，但现实情况是，企业对AI安全的全球态势的关心程度，远不及对AI将如何影响其日常运营安全的关心程度。
企业担忧的是：AI智能体是否会泄露企业或员工数据；可能为新型网络攻击打开大门的平台漏洞；幻觉问题渗入"原本纯净"的企业工作流程；以及AI对合规工作造成的影响。
利维说："他们担心的是，当（不是是否）AI出现失控时，谁来承担责任。"他们提出的问题与此前云计算等技术变革时期提出的问题相同：投资回报率如何？AI带来了哪些额外风险？它提供了哪些新能力？风险与回报是否相称？供应商是否能响应我们的需求？
企业还希望得到保证，智能体等新兴AI技术带来的风险不会使企业风险水平超出其监控和应对能力的范围。
但不幸的是，利维表示，随着整个行业在今年夏天应对大量有关智能体突破限制、在互联网上游荡、入侵系统以及种种意料之外行为的报告，AI公司目前尚无法提供这类保证。
AI审查加剧背景下的建议
他建议企业现在就对供应商实施标准，而不是等待SAFA之类的机构真正落地，从而最大限度降低以AI为核心的风险敞口，同时最大限度提升从AI中获取价值的能力。
这可能包括要求每一款新模型随附"相当于安全与安保数据表"的文件，详细说明该模型的能力、已知的失效模式以及测试历史。利维指出，将现有的变更管理流程延伸至AI模型，也是降低部署相关风险的一种方式。
此外，Info-Tech Research Group高级顾问分析师亚兹·帕拉尼恰米指出，数据隐私以及知识产权泄露到面向公众的前沿AI模型中，是重大的担忧问题。
他建议企业高度重视执行有效的可接受使用政策（AUP），围绕AI安全问题进行规范，并考虑建立内部AI概念验证或治理委员会。同样至关重要的是，企业应从其技术和AI供应商处获得适当的安全保证。
帕拉尼恰米表示："企业必须以与财务风险或网络安全风险同等的严肃程度，主动诊断AI风险。"这意味着需要建立一个专门的、跨职能的AI安全与伦理委员会，成员应包括来自法务、网络安全、合规、数据工程和产品开发部门的相关人员。
他说："任何AI工具都不应在没有获得适当批准的情况下部署。"
人的因素同样重要：企业应强制开展AI素养培训，帮助整个业务范围内的用户理解在哪里、如何识别幻觉问题，并要求他们在根据AI生成的输出采取行动之前进行核实。
帕拉尼恰米还建议考虑其他安全协议，包括实时有害输入过滤器和严格的系统提示护栏。此外，持续风险分级等方法有助于按照AI应用场景对组织构成的风险等级进行分类。
例如，面向客户的医疗或财务分析机器人可能需要每日审计以及特定限制，以确保其不会泄露敏感信息，他说，"而用于协助总结公开会议记录的内部AI工具，则可能不需要如此严格的治理监督。"
Q&A
Q1：SAFA是什么？由哪些公司发起？
A：SAFA是暂定名为"前沿AI标准管理局"的新行业机构，据报道由谷歌、OpenAI和Anthropic共同筹建，独立于政府管控，旨在为前沿AI模型的风险评估、测试和发布前审查制定指导方针，计划于2027年初正式启动。
Q2：企业在AI安全方面最担心什么问题？
A：企业更关心AI智能体是否会泄露企业或员工数据、平台漏洞带来的网络攻击风险、AI幻觉渗入工作流程以及合规方面的影响，而非全球层面的AI安全政策议题。
Q3：企业应该如何应对AI带来的安全风险？
A：建议企业要求供应商提供模型的安全数据表，建立跨职能的AI安全与伦理委员会，制定可接受使用政策，开展AI素养培训，并通过持续风险分级等方法，按风险等级对不同AI应用场景实施差异化治理。
