大语言模型对内存的需求量极为庞大,用户规模越大,所需内存越多。内存厂商对此的回应是加快新建内存工厂的计划,重点布局高带宽内存(HBM)和DRAM,首批产能预计于2027年投产。与此同时,这一旺盛的内存需求也为新技术路线的崛起提供了土壤。

高带宽闪存(HBF)正是其中一个值得关注的方向。它本质上是SD卡、U盘等设备中所用存储介质的升级版——借鉴了HBM的成功经验,通过多芯片堆叠来提升容量和带宽,并将这一思路应用于广泛用于数据存储的NAND闪存。

"很多人会问,这怎么可能行得通?闪存不是慢得出奇吗?"半导体市场研究机构Objective Analysis总经理吉姆·汉迪(Jim Handy)表示。他解释说,虽然NAND闪存在带宽方面确实存在短板,但HBF有助于改善这一问题。"闪存的写入速度是极为缓慢的,但读取速度可以被'压榨'得相当快。而高带宽闪存要做的,就是把这种读取潜力充分激发出来。"

NAND闪存的存储原理

NAND闪存通过将电荷捕获在浮栅晶体管阵列中来存储数据,这些晶体管以块和页为单位组织,而非按字节逐一寻址。此外,闪存具有非易失性,即断电后数据依然保留。

这些特性使闪存成为长期存储的理想选择:与DRAM相比,它可以在相同面积内存储更多数据,也无需持续刷新充电的电容器。然而,正是这种高密度与非易失性的存储机制,导致闪存的写入速度较慢——向绝缘栅极注入或抽出电荷所需的时间,远比充放电容器要长。

目前最新的闪存接口标准,每颗芯片可支持高达4.8GB/s的内存带宽。在许多应用场景下,这一表现并不算差,NAND闪存也因此被广泛用于固态硬盘等高性能长期存储设备。然而对比之下,DDR5每条内存的带宽可达70.4GB/s,而HBM4E每个堆叠的带宽更可高达3.6TB/s——相较于闪存,HBM4E的带宽优势高达约750倍。

SK海力士内存系统研究高级副总裁金浩植(Hoshik Kim)表示,HBF通过与HBM类似的封装技术来提升带宽。"将先进的3D封装和垂直堆叠技术应用于NAND闪存后,HBF能够提供远超标准NVMe存储的带宽。"正如HBM通过堆叠DRAM芯片来实现高性能,HBF同样通过堆叠NAND闪存芯片,打造出高密度存储芯片。

HBF量产至少还需一年,但闪存制造商闪迪(SanDisk)已发布其首代产品的规格说明。据悉,HBF将最多堆叠16颗NAND闪存芯片,每个堆叠的总容量可达512GB,预计读取带宽最高为1.6TB/s。闪迪的HBF路线图还规划了第二代和第三代产品,预期读取带宽分别达到2TB/s和3.2TB/s。

HBF的应用价值所在

尽管HBF有望带来远超早期闪存的带宽,但有一个问题依然显而易见:它仍远慢于高性能GPU所采用的HBM。那么,HBF的价值究竟体现在哪里?

答案在于AI训练与AI推理这两类工作负载之间的本质差异。

AI训练是指向大语言模型输入Token,观察模型的预测结果,验证其是否正确,再通过反向传播步骤根据误差调整权重。这一过程看似简单,却涉及数十亿乃至数万亿模型权重的海量计算,读写操作极为密集,因此闪存并不适用于训练场景。

然而,AI推理则截然不同。模型权重在推理阶段是固定且只读的,这意味着闪存写入速度慢的缺陷不再构成障碍。金浩植表示:"在推理环境中,大规模、以读取为主的数据——例如静态的数十亿参数模型权重,或预计算的KV缓存——可以安全地存储在HBF层中。"这样一来,HBM便可专注于扮演"高速暂存器"的角色。汉迪认为,针对推理工作负载引入闪存是一种合理的思路。"如果配置得当,这种方案能发挥出相当出色的性能——其实就是基本的缓存机制。这是我预期会大有前途的一项技术。"

行业推进与市场前景

尽管潜力可观,HBF目前仍处于早期开发阶段,距离大规模部署可能还需数年时间。2026年2月25日,闪迪与SK海力士联合举办了一场启动活动,宣布在开放计算项目(OCP)框架下成立专项工作组,共同推进HBF标准化工作——OCP是管理众多数据中心硬件规范的开放行业组织。目前标准制定工作正在推进中,但具体发布时间表尚未确定。

对于内存制造商而言——尤其是SK海力士——主推HBF这一比HBM更低价的替代方案,乍看之下似乎有些奇怪。毕竟HBM是利润率更高的产品,也正是凭借HBM,SK海力士目前正创造着历史营收纪录。

对此,金浩植将HBF定位为互补工具,而非竞争技术。"HBF能够在不牺牲数据传输速度的前提下,有效缓解HBM严重的容量瓶颈,从而有望减少运行大规模模型所需的加速器数量。"他预计,这将提升能源效率、降低成本,使数据中心能够进一步扩大AI推理硬件规模。

Q&A

Q1:高带宽闪存(HBF)和普通闪存有什么区别?

A:HBF是普通NAND闪存的升级版本,借鉴了高带宽内存HBM的堆叠封装技术,通过将多颗NAND闪存芯片垂直堆叠,大幅提升了带宽。以闪迪首代HBF产品为例,最多可堆叠16颗芯片,读取带宽可达1.6TB/s,远超标准NVMe存储,是专为AI推理等读取密集型场景设计的新型存储方案。

Q2:HBF为什么适合AI推理而不适合AI训练?

A:AI训练需要频繁读写模型权重,而闪存写入速度极慢,因此不适合训练场景。但AI推理阶段模型权重是固定只读的,闪存写入慢的缺点不再是障碍。HBF凭借较高的读取带宽,可以承载静态的模型权重和KV缓存,让HBM专注于高速计算任务,从而在整体上提升推理系统的性能与能效。

Q3:HBF什么时候能正式上市?

A:目前HBF距离量产至少还需一年,距离大规模部署则可能还要数年。2026年2月,闪迪与SK海力士已在开放计算项目(OCP)框架下启动了HBF标准化工作,但具体标准发布时间表尚未公布。闪迪已规划了三代产品路线图,读取带宽分别为1.6TB/s、2TB/s和3.2TB/s。

IEEE Spectrum - Computing