Mistral AI SAS今日开放了Mistral Large 4的使用权限,这是该公司迄今为止能力最强的大语言模型。
发布之初,该大语言模型通过公司的云平台提供公开预览版本。Mistral计划在本月晚些时候发布该模型的权重文件。
Mistral Large 4采用混合专家架构,拥有1万亿参数。它在单次运行中仅使用490亿参数,相比激活整个模型来响应用户提示,这种方式在硬件效率上更具优势。Mistral表示,该大语言模型能够处理超过160种语言的问答任务。
这款新模型在AA网络安全指数上获得了前五的成绩,这是一组衡量大语言模型发现和修复软件漏洞能力的基准测试。该模型在修复开源项目漏洞方面表现尤为突出,在这一项目上,Mistral Large 4获得了82%的AA网络安全指数得分,领先于其他开源竞品。
Mistral表示,计算机视觉是其大语言模型的另一个强项。在Dense200基准测试中,该模型比GPT-6 Astra高出1%,这项测试衡量的是模型在图像中识别目标物体的能力。
在人工智能行业最流行的编程基准测试中,Mistral Large 4的表现明显落后于Astra等前沿模型。不过,它的表现超过了多个领先的开源大语言模型,包括Qwen3.8 Max和DeepSeek V4 Pro。在AutomationBench和AA-Briefcase知识型工作基准测试中,它的得分也高于后者。前一项测试包含相对简单的任务,而后一项测试则包含需要人类花费数周才能完成的任务。
Mistral使用3800块Grace Blackwell芯片训练了Large 4。每块加速卡将英伟达公司的两块Blackwell图形处理卡与一个中央处理器组合在一起。该公司没有说明此次训练耗时多久,但分享了该项目的其他细节。
先进的大语言模型是通过试错方式训练的。正在开发中的模型接收一项任务,并尝试在没有人类指导的情况下完成该任务,每一次这样的练习被称为一次“rollout(推演)”。在一次推演结束时,一个专门的AI模型会分析结果,并利用这些结果来优化大语言模型。
据Mistral介绍,其工程师开发了一套软件系统,能够并行运行数万次推演。该系统会从一个AI构建模块库中组装推演流程,这些模块包括供大语言模型运行代码的沙盒环境、便于访问网络的搜索引擎,以及用于检验推演结果的测试工具。这套软件系统正是用于开发Mistral Large 4。
该模型的推演过程每天产生330亿个Token。Mistral将其中略少于一半的Token用于驱动负责优化Large 4的训练流程。推演和训练流程是异步进行的,这意味着其中一项工作负载的延迟不会拖慢另一项工作负载的进度,这有助于Mistral加快处理速度。
值得注意的是,在完成当前版本的模型之后,该公司并未暂停产出Large 4的训练流程。Mistral预计,这一工作流程将在未来几个月内产出更大规模、能力更强的模型版本。从长远来看,该公司将以Mistral Large 4为基础,构建一整个系列的、针对特定应用场景优化的模型。
Q&A
Q1:Mistral Large 4是什么?
A:Mistral Large 4是Mistral AI SAS发布的最新大语言模型,采用混合专家架构,拥有1万亿参数,单次运行仅激活490亿参数,支持超过160种语言的问答任务。
Q2:Mistral Large 4在哪些方面表现突出?
A:该模型在网络安全领域表现出色,在AA网络安全指数上获得前五成绩,尤其擅长修复开源项目漏洞;在计算机视觉方面也有不错表现,在Dense200基准测试中超过了GPT-6 Astra。
Q3:Mistral Large 4是如何训练出来的?
A:该模型使用3800块Grace Blackwell芯片训练而成,采用试错式训练方法,通过并行运行数万次“推演”并异步进行训练优化,每天产生330亿个Token用于模型迭代。
