阿里巴巴集团今日推出Qwen4-Max,这是该公司最新、能力最强的大语言模型。
这款算法不仅生成的输出质量优于前代产品,成本也有所降低。这些改进得益于全新的Qwen4架构,该架构使大语言模型的训练流程更加高效。此外,阿里巴巴还为该模型配备了升级版的注意力机制。
Qwen4-Max的骨干网络——即大语言模型中充当主要处理引擎的部分——包含2.4万亿个参数,但在任意给定时刻仅激活其中710亿个。该骨干网络由3280亿个所谓的N-gram参数提供支持,这些参数起到类似缓存的作用,能够保存频繁重复计算的结果,从而避免每次都要从头进行运算。
大语言模型中的人工神经元被组织成若干组,称为层。当模型在训练过程中学到新内容时,一种被称为梯度的数据会流经各层并优化其输出。梯度会从最后一层开始逐层向前传递,而最后一层正是负责最终确定并呈现提示词响应的部分。
Qwen4-Max包含一项功能,使梯度能够跳过某些层。这项功能,也被称为残差连接,实质上是模型内部的一条捷径。其目的是在训练流程中减少误差,进而降低成本并提升输出质量。
残差连接在许多其他大语言模型中也能见到。以往,该机制通常以单一的梯度传输通道实现。而Qwen4-Max的实现方式包含四条通道,并且这些通道还配备了“门控”装置,可以调节梯度的流动,从而进一步优化训练过程。
Qwen4-Max的注意力机制——这一模块帮助模型理解用户提示词——具备两项关键定制。第一项是名为Gated DeltaNet的技术,可降低处理大型提示词所需的硬件资源。第二项优化为QSA,能够跳过大语言模型回答提示词时不需要的数据片段。这一设计进一步降低了基础设施成本。
阿里巴巴使用一项包含知识型工作任务的内部基准测试,将Qwen4-Max与其前代产品Qwen3.8-Max进行了比较。结果显示,新模型得分更高,且完成任务所用的Token数量减少了最多35%。在采用Terminal-Bench 4.0编程挑战测试套件进行测试时,这一节省幅度进一步提升至49%。
目前,Qwen4-Max已可通过阿里巴巴的云平台使用。该公司计划未来基于同一系列技术,开源一批规模更小的模型。同时,阿里巴巴还将开源Qwen-Live-Delivery-Plugin插件,该扩展功能可提升Qwen4-Max执行耗时任务的表现。
当大语言模型被分配一项长周期项目时,用户通常需要等待模型完成全部工作后才能查看结果。阿里巴巴的这款插件缩短了等待时间,它使Qwen4-Max能够快速交付初步草案,随后再逐步迭代完善。用户可以在此过程中随时提供反馈,帮助模型优化其工作成果。
