一款开发商自称可能帮助攻击者发起真实网络攻击的万亿参数AI模型,现已可供免费下载、修改并脱离开发商控制运行。

总部位于巴黎的Mistral AI公司于周四发布了Mistral Large 4的开放权重,该模型被称为"Le Chonk"。此前几周,这款多模态模型已进入公开预览阶段。该公司表示,已对预览版在实际流量中的网络安全相关使用情况进行了监测。

"尽管我们观察到该模型拒绝配合针对真实目标的黑盒攻击,但我们认为其存在助力实施真实攻击的潜在可能。"该公司在公告博文中写道。

公告还提到,Mistral正在调整模型的护栏机制,并将在未来几个月持续更新。

但这些更新不会推送到已下载的模型副本中。Mistral科学副总裁Pierre Stock向CSO透露,该模型的安全防护措施已内置于其权重参数中,但后续的改动将通过其他渠道实现。

"后续的安全防护更新将应用于我们托管的API以及未来发布的模型,而不会自动更新已下载的检查点文件。"Stock说。

当被问及该模型在预览阶段的流量中对哪些攻击环节提供了实质性帮助时,Stock并未具体说明。他表示,最显著的提升体现在防御性工作方面,例如识别、复现和修复软件漏洞。

"尽管我们的公开预览监测显示该模型拒绝了针对真实目标的攻击,但我们意识到随着能力提升,存在被滥用的潜在风险,我们正持续强化安全防护措施。"他说。

托管这些权重文件的Hugging Face在其发布公告中指出,开放权重意味着使用政策和部署方式都掌握在用户手中。

今年7月,英国AI安全研究院报告称,领先的开放权重模型在网络安全任务方面落后于封闭式前沿模型四到七个月。该研究院表示,对于网络能力较强的模型而言,开放发布会造成"持续且不可逆的滥用风险"。

攻击者已经开始利用开源AI工具实施攻击。本月早些时候,微软表示一个与中国有关联的组织利用智能体AI框架ARTEX攻击了超过2250个微软365租户。

Mistral表示,此次发布的模型能够区分防御性工作与恶意请求。据该公司介绍,在JailbreakBench、StrongREJECT和AgentHarm基准测试中与网络安全相关的部分,Large 4拒绝了96.6%的恶意提示,这是该公司在开放模型中测得的最高拒绝率。

Gartner首席分析师Niyati Daftary表示,安全负责人应谨慎解读这一数字。

"Mistral公布的96.6%这个数字,只能说明该模型在他们测试场景中的表现,并不能说明它在你的数据、你的对抗性使用场景中,或在你所处环境中面对有预谋的攻击者时会如何表现。"她说。

对于专门的网络安全变体版本,Mistral采取了不同的处理方式。该公司表示,Orange Cyberdefense等设计合作伙伴正获得一个针对渗透测试、漏洞评估和红队演练优化的版本的预览访问权限。公告称,该访问权限"需经过严格审查并签署合同保障条款",且仅限于合作伙伴自有或获得授权测试的系统使用。

该公司称,这款模型在Artificial Analysis Cyber Index(该指数衡量模型发现、复现和修补漏洞的能力)上得分为51%。Mistral公告中的图表显示,有两款开放权重模型——DeepSeek V4.1 Flash和MiMo-V2.6-Pro——得分更高。

Mistral还称Large 4是编程能力最强的开放权重模型,并引用了其在Cognition公司的FrontierCode 2.0和Terminal-Bench 4.0测试中的领先成绩。该公司尚未发布支撑这些结果的技术报告,仅表示报告即将发布。

Forrester副总裁兼首席分析师Charlie Dai表示:"没有详细的技术报告,这一'最佳开放权重模型'的说法在各类工作负载上都难以得到验证。"

Dai还补充说,前沿模型的发展速度极快,领先地位"可能在几个月甚至几周内发生变化"。

Stock表示,该技术报告将记录Mistral的网络安全评估方法与结果、拒绝测试情况以及预览阶段的监测发现。他还表示,Mistral打算在"保护敏感安全信息的前提下"分享相关的对抗性测试发现。他未给出具体发布日期。

欧盟网络安全局ENISA在随Mistral公告发布的声明中表示,该机构正在测试这款模型,以识别漏洞、审计代码并分析防御性日志。

根据欧盟《人工智能法案》,欧盟委员会规定,训练所用浮点运算量超过10的25次方(FLOPs)的模型被视为具有系统性风险。相关提供商必须评估并缓解这些风险,报告重大事件并维持网络安全防护措施。Mistral的公告中并未说明Large 4是否属于这一类别,也未说明发布前进行了何种风险评估。

Stock表示,Mistral是欧盟《通用人工智能行为准则》的全面签署方,包括其中的安全与安保章节,欧盟委员会将此视为证明合规性的一种方式。但他未说明Large 4是否已被归类为系统性风险模型。

该公司表示,Large 4是在经过修改的MIT许可证下发布的,该许可证允许使用、修改、微调和商业化。企业若想运营模型即服务(model-as-a-service)业务,则需要单独申请许可证。对于不想自行托管的用户,Mistral的API定价为每百万输入Token 0.70美元,每百万输出Token 2.10美元。

Dai表示,对于欧洲买家而言,主权控制"是一个重要的差异化因素,但不应超越安全方面的考量"。他补充说,开放权重和自主托管意味着护栏机制、访问控制、监控及滥用防范的责任转移到了运营方身上。

"因此,主权控制与安全性需要综合评估,而不是相互取舍。"Dai说。

Daftary表示,企业若自主托管Large 4用于代码审计或漏洞分级处理,应将其作为受控组件运行,而非自主智能体。这意味着需要隔离环境、对代码和凭证实施最小权限访问、对生成的代码进行沙盒隔离,并在任何修复操作前进行人工审核签字。她说:"自主托管可以提升数据控制力和运营连续性,但同时也意味着企业需独自承担补丁修复、监控、评估和滥用防范的全部责任。"

本文原载于CSO。

InfoWorld