在半导体行业,晶圆对晶圆的混合键合并不是一项全新技术。

2016年前后,索尼把其用在了手机CMOS图像传感器上,像素层与逻辑层以“铜-铜”直连的方式叠在一起;2018年,长江存储发布Xtacking架构,把存储阵列晶圆和外围电路晶圆键合到一起,用在3D NAND上。

此后近十年,这项工艺的主战场,一直是图像传感器和闪存。

但如果把同样的工艺用在DRAM与AI逻辑芯片之间,做出大算力芯片,再组成集群连续进行大模型训练,能行吗?

过去,这条路线一直停在论文和样片阶段,看得见,却做不到。而东方算芯,率先把它变成了现实。

最近在上海举办的国芯展上,东方算芯宣布,基于DF1000打造的首个全国产大规模训练集群已正式交付。

这也是3D大算力芯片首次在128卡集群规模上完成稳定性验证:集群连续训练72小时无中断,千亿参数级的Step 130B大模型仅用7天便完成训练适配。按计划,年底东方算芯还将交付千卡级集群。而从项目立项到集群具备训练能力,整个过程只用了24个月。

消息发布以来,外界关注较多的是“24个月”和“7天”这两个数字。

但如果把DF1000的规格拆开看,还有一组数字更能说明这条路线的特点:520 TFLOPS的BF16算力,对应6.4TB/s的访存带宽。每完成一次浮点运算,DF1000能分到的带宽约为主流GPU的2~3.6倍。

这样的配比,在当前的AI芯片中并不多见。

01  带宽:把“距离”换成“密度”

从行业背景看,随着大模型参数规模和Agent推理需求的快速增长,AI芯片面临的瓶颈已不只是算力,数据搬运同样关键。

魏少军在今年WAIC上将国产AI芯片面临的挑战概括为“三堵墙”:算力墙、内存墙和通信墙。其中,内存墙的本质,就是计算单元的处理速度远快于数据从存储送到计算单元的速度。

不靠先进制程、不用HBM,东方算芯把3D近存芯片放进了大模型训练集群

国际欧亚科学院院士、清华大学微电子学研究所和微电子与纳电子学系教授,

东方算芯董事长兼CEO 魏少军(截取自:清华大学官网)

这样的挑战之下,主流的解法是2.5D封装加HBM。

具体而言,逻辑芯片与多组HBM并排放在硅中介层上,靠微凸点和横向走线相连。这条路线要提升带宽,只能多放几组HBM、或者不断抬高接口频率,同时还要依赖先进制程和HBM供应。

对国产芯片而言,这两样恰恰都是最难拿到的。而东方算芯的选择,是从根上改变存储与计算的连接方式。

不靠先进制程、不用HBM,东方算芯把3D近存芯片放进了大模型训练集群

D DRAM近存计算:逻辑层与DRAM层混合键合垂直互连(来源:东方算芯官网)

DF1000是国内首颗采用DRAM-Logic晶圆级混合键合3D垂直集成的AI算力芯片。其把DRAM晶圆直接键合在逻辑晶圆上方:两片晶圆表面的铜焊盘对准后直接连接,中间没有凸点,也没有中介层,计算层与存储层在垂直方向上“面对面”相连。

不靠先进制程、不用HBM,东方算芯把3D近存芯片放进了大模型训练集群

巅峯DF1000 AI加速卡(来源:东方算芯官网)

这种方式带来的第一个变化在距离。数据从存储到计算单元,不再需要经过毫米级的横向走线,而是穿过微米级的垂直互连。传输距离缩短后,信号延迟显著降低,每比特数据的搬运能耗也同步下降。这是一次在带宽、延迟与工艺三个维度上的架构级创新。

第二个变化在密度。混合键合把互连间距从传统方案的数十微米压缩到了亚微米级。间距缩小,连接密度会成平方倍增长:按方阵排布粗算,间距为数十微米时,每平方毫米只能布置数百个连接;进入亚微米级后,同样的面积可以容纳上百万个连接,两者相差三到四个数量级。

落到DF1000上,这种密度优势直接体现为垂直通道的数量,其3D DRAM可提供相当于传统HBM数十倍的TSV数量,互连密度和带宽密度均实现了数量级提升。

不靠先进制程、不用HBM,东方算芯把3D近存芯片放进了大模型训练集群

【笔者根据“互连密度≈1/间距²”(方阵排布)估算绘制

数据来源:亚微米级取自东方算芯官网“互连间距压缩至亚微米级”的表述,按1μm计;作为参照,微凸点约50μm、晶圆级混合键合3μm取自S. Wang et al., Electronics 2023, 12(5):1077;芯片级混合键合约9μm为业界公开报道典型值。

连接数量一旦以数量级增加,存储接口的设计逻辑就会随之改变。访存带宽等于接口数量与单接口速率的乘积。传统方案的接口数量受限于连接密度,只能不断提高单接口速率;混合键合把连接数量提升了几个数量级后,DF1000可以用大规模并行的接口获得更高的总带宽。

这也正是DF1000能在14nm工艺上实现6.4TB/s访存带宽的原因。在同等容量下,DF1000的带宽可达HBM方案的5倍以上。

这套结构的扩展路径同样明确:增加DRAM堆叠层数,可以提升显存容量;高密度的垂直互连,则持续提供带宽。3D DRAM因此具备了替代HBM的能力。

第三个变化在封装层面。3D DRAM替代传统的数据存储结构后,原本留给HBM的封装面积,以及逻辑芯片上用于连接HBM的接口资源,都被释放了出来。在此基础上,DF1000引入了Infinity Chiplet 3.5D+扩展结构,将3D垂直集成与2.5D平面扩展相结合,同等封装尺寸下,可以容纳更多计算单元和互联接口,算力、网络带宽和互联规模都较传统2.5D方案更进一步。

更关键的是供应链。DF1000不使用HBM的高带宽显存,也不依赖最先进的制造工艺,从芯片设计、14nm晶圆制造、3D先进封装到封测,全部在本土产业链上完成闭环。正如魏少军多次强调的,DF1000最重要的价值在于实现了全国产供应链,“如果供应链不安全,技术再好也没用”。

此前,国内学术界和产业界在混合键合DRAM方向上已有不少探索,东方算芯则率先将这项技术推进到了大模型训练芯片与集群层面。

02  配比:DF1000为什么“带宽优先”?

要理解DF1000的设计取向,可以借助屋顶线模型(Roofline Model)来分析。这是芯片架构领域常用的性能分析方法,由加州大学伯克利分校的研究者于2009年提出,用来判断计算任务的性能受限于算力,还是受限于访存带宽。

在这一模型中,峰值算力与访存带宽之比构成一个“拐点”,单位为FLOP/Byte。计算任务的算术强度,即每读取1字节数据所需执行的浮点运算次数,低于拐点时,性能受访存带宽限制;高于拐点时,性能才由峰值算力决定。

按520 TFLOPS的BF16算力和6.4TB/s的访存带宽计算,DF1000的拐点约为81 FLOP/Byte。作为参照,过去几代主流GPU的算力增速明显快于带宽增速,拐点大致落在150~300 FLOP/Byte之间。DF1000的拐点更低,意味着每单位算力配备了更多的访存带宽。

这样的配比,与大模型推理的计算特征高度匹配。在推理的Decode阶段,每生成一个token,都需要从显存中完整读取一遍模型权重。以BF16权重为例,每读取2字节权重,约执行2×批量大小次浮点运算,算术强度大致等于批量大小,在常见的批量范围内远低于拐点。

这意味着,在Decode阶段,决定推理速度的不是峰值算力,而是访存带宽。此时继续增加算力,计算单元只能等待数据,算力利用率往往只有20%~30%;反过来,带宽提升多少,性能就提升多少,单个token的生成成本也随之下降。

DF1000以带宽优先的配比,瞄准的正是这一区间。

不靠先进制程、不用HBM,东方算芯把3D近存芯片放进了大模型训练集群

DF1000应用场景:AFD分布式推理(来源:东方算芯官网)

这一设计取向,也契合了算力需求的结构性变化。随着大模型从训练走向大规模推理,衡量算力的标准正在改变:竞争从单芯片性能转向系统层面,核心指标变成了单位功耗产出的token总量,以及在服务等级协议约束下提供低延迟token的能力。

在这套指标体系下,访存带宽的权重显著上升。DF1000面向的三大应用场景:大模型训练、AFD分布式推理和大模型单机推理,正是围绕这一变化展开的。其中,AFD(Attention-FFN分离)将注意力计算与前馈网络部署在不同的计算资源上,注意力部分需要反复读取KV Cache,是典型的带宽密集型负载,恰好是DF1000最擅长的区间。

带宽优势同样延伸到了训练侧。大规模矩阵乘法和预填充属于计算密集型负载,算术强度高于拐点,充足的带宽可以保证数据持续供给,让计算单元始终保持满载;归一化、激活函数、优化器更新等逐元素运算则属于带宽密集型负载,带宽越高,这些环节的耗时越短。

无论任务在拐点的哪一侧,高带宽都能转化为实际收益。

03 效率:软件定义计算架构,释放有效算力

3D近存让数据能够足量、及时地送到计算单元,只解决了一半问题。

在14nm工艺下,单颗芯片能集成的计算单元数量和运行频率都有上限,无法像先进制程那样靠堆叠晶体管换取算力。因此,DF1000的有效算力,最终取决于每一个计算单元能否被充分利用。

而提高利用率,恰恰是现有两条主流路线都难以兼顾的问题。DSA专用架构针对特定算法设计硬件,运行目标算法时效率很高,但AI算法大约每三到六个月就会出现较大变化,一旦算子结构与硬件不再匹配,部分计算单元就会闲置。

另一方面,GPGPU通用架构依靠可编程性适应算法变化,但通用性的代价是利用率,传统架构在大模型负载下的算力利用率通常只有30%~40%,需要依靠先进制程提供更多晶体管来弥补。

前者缺灵活性,后者依赖先进工艺,都不适合在14nm制程上追求高性能。

东方算芯的解法是软件定义芯片:硬件的计算结构不再固定,而是由软件配置,软件写入什么功能,芯片就具备什么能力。这样一来,芯片既能像专用架构那样让硬件贴合算法,又能像通用架构那样随算法演进而调整。

魏少军曾强调,正是软件定义同时解决了计算效率和能量效率两个核心问题,3D近存则主要负责带宽。

具体到DF1000,计算单元的浪费通常来自三个环节:硬件与算子不匹配、计算单元等待数据、部分单元空闲。软件定义架构针对这三个环节分别给出了对应设计。

针对不匹配,DF1000采用由数据流驱动的粗粒度Tile计算架构。其可重构张量计算引擎支持FP32、FP16、BF16、FP8、FP4等多种精度,能够根据模型特性动态重构,自动选择最优数据通路;张量计算单元与向量计算单元共享数据通路,减少了因算子类型不同而闲置的硬件;对于Attention等Transformer核心算子,DF1000设计了可重构Transformer加速器进行硬件级优化。

由于硬件结构可以随软件调整,DeepSeek、Qwen、GLM等主流大模型架构的持续演进,都可以通过软件配置来适配,而不必重新设计芯片。

针对计算单元等待数据的问题,DF1000以Tensor Tile为基本调度单元,构建了全异步、无阻塞的数据流执行引擎。数据的流向由软件显式安排,取代了传统缓存机制,省去了缓存命中判断和数据替换的开销;计算与数据搬运深度重叠,当前Tile在计算时,下一个Tile的数据已经在传输。3D近存提供的高带宽,正是通过这套执行模型转化为计算单元的持续满载。

不靠先进制程、不用HBM,东方算芯把3D近存芯片放进了大模型训练集群

软件定义计算架构:可重构张量计算引擎与Tensor Tile数据流(来源:东方算芯官网)

针对部分单元空闲,DF1000通过任务处理的空间并行和硬件资源的时分复用来调度资源。空间上,多个任务同时分布在不同的计算单元上执行;时间上,同一批计算单元在不同时段承担不同任务。两者结合,让芯片上的计算单元在任何时刻都尽量处于工作状态。

几类痛点逐一消除后,DF1000的计算效率可达85%以上,比其他方案高出30%以上。

这意味着在同样的14nm工艺下,DF1000可以把更大比例的峰值算力转化为有效算力,从而降低了对先进制程的依赖。

这也对应了魏少军曾提出的问题:“如何在现有工艺条件下实现高性能,同时能够满足通用大模型发展的芯片路线,对中国来说是一个独有的问题。”DF1000的答案,是让计算、存储与互联三者协同匹配。

用他的话说,“这不是单项指标最优,而是多项指标协同最优”。

04  速度:芯片到集群,24个月跑通

架构上的优势,最终要体现在工程交付上。魏少军曾用一组数字描述了AI产业的时间错配:应用以周为单位更新,算法以月为单位迭代,芯片设计以年为单位,而系统部署周期长达5到10年。芯片从设计到真正可用的周期越长,与算法演进之间的落差就越大。

因此,对AI芯片公司而言,核心的工程问题是如何缩短从芯片到可用系统的周期。

传统路线之所以慢,在于其串行推进的逻辑。芯片流片,回片后才开始软件适配,软件稳定后再搭建集群,每一个环节都要等上一个环节完成。东方算芯则不同,芯片设计、编译器与算子库开发、集群系统架构三条线并行推进、协同验证,这是24个月跑通全链路的关键。

而三条线并行,根源还是在于架构的选择。

一方面,软件定义架构让软硬件可以同步开发。DF1000的硬件结构由软件配置,这意味着硬件与软件之间的接口在设计之初就被清晰定义。硬件团队确定Tile的接口、数据通路和精度之后,编译器、运行时和算子库团队即可基于同一套抽象同步开发,不必等到回片之后才开始适配。

在DF1000加速卡回片后,算力、显存带宽、通信带宽、功耗温度等全项规格测试全部完成,11项BF16算子测试一次性通过,证明了这套软硬件协同设计在硅片上的有效性。

另一方面,数据流架构缩短了新模型的适配周期。可重构阵列的工作方式,是把神经网络映射为数据流图,在Tile阵列上空间展开执行,而不是为每一个算子单独编写和调优程序。Transformer类大模型的核心算子种类相对集中,再加上针对Attention的硬件优化,以及覆盖编译器、运行时、算子库、集合通信库、分布式训练框架和一站式工具链的全栈软件,并兼容主流深度学习框架,新模型的适配工作量大幅减少。Step 130B的7天训练适配,正是这一能力的体现。

此外,独立的通信层让芯片能够扩展为集群。单卡跑通之后,规模化的瓶颈转向卡间通信。在传统架构中,集合通信往往要占用一部分计算资源,卡数越多,计算与通信的争抢越明显。

DF1000的原生分布式执行模型将通信独立成层,分为三级:

芯片级,每颗计算芯片集成专用的软件定义通信处理器,卸载AllReduce、AllGather、Send/Recv等集合通信操作,通信与计算异步执行;

服务器级,基于标准以太网构建超节点互联;

软件级,提供计算通信重叠的编程模型和原生分布式运行时,支持从单卡到多卡的平滑扩展。通信被卸载之后,计算阵列可以专注于计算,大规模并行效率随之提升。

不靠先进制程、不用HBM,东方算芯把3D近存芯片放进了大模型训练集群

原生分布式执行模型:芯片级软件定义通信处理器(来源:东方算芯官网)

另外,系统层面进行了全面标准化。DF1000遵循OAM 2.0规范,提供风冷和液冷版本,可接入主流国产服务器平台;

擎元QY100为单机8卡服务器,支持国产CPU和操作系统。

拓域TY64为64卡液冷超节点,单节点算力33 PFLOPS@BF16,即64张DF1000的算力总和;

慧算HS128、HS512分别为128卡和512卡的智算集群,整体交付、开箱即用。

由于超节点基于标准以太网,交换机和网卡可以直接选用成熟的国产产品,集群侧的研发周期和供应链风险都得以降低。

不靠先进制程、不用HBM,东方算芯把3D近存芯片放进了大模型训练集群

擎元QY100&慧算HS512(来源:东方算芯官网)

集群交付环节,东方算芯形成了“部署—联调—压测—试训—验收”的标准化交付体系。128卡DF1000训练集群承载了Llama2-70B、JYXC-130B等多个大模型训练任务,实现72小时连续训练无中断,训练精度达标。

对训练集群而言,72小时是一道关键门槛,链路稳定性、显存可靠性、温度控制等问题,大多需要在长时间连续运行中才能得到充分验证。集群同时配备了智能调度、故障自愈和全维度监控体系,有限的运维团队即可支撑集群的稳定运行。

不靠先进制程、不用HBM,东方算芯把3D近存芯片放进了大模型训练集群

拓域TY64 64卡液冷超节点(来源:东方算芯官网)

05  写在最后

24个月跑通全链路,背后是近20年的技术积累:从2006年清华大学的可重构计算研究,到2019年提出软件定义近存计算,再到2024年东方算芯成立、2026年DF1000发布并实现集群交付。

工程周期能够压缩,前提是技术路线早已明确。

按照“量产一代、研发一代、预研一代”的节奏,东方算芯计划推出的DF2000,各项性能参数较DF1000翻倍;2027年计划第四季度推出DF3000,指标在DF2000基础上再次翻倍。2026年年底的千卡级集群交付,将是这条路线在交付更大规模上的又一次验证。

在后摩尔时代,当工艺微缩的红利逐步放缓,通过架构创新和先进封装提升系统效率,正在成为全球半导体产业的共同方向。

而反观东方算芯所实现的,是一条立足成熟工艺、不依赖HBM、可以规模化复制的“中国方案”。

至顶网芯片频道 作者:毛烁