从分子化学到材料科学,许多科学模拟任务将大部分执行时间用于计算高精度的密集通用矩阵乘法(GEMM)。这类运算在64位实数浮点数场景下称为DGEMM,在64位复数浮点数场景下称为ZGEMM。cuBLAS被HPC和AI应用广泛用于在NVIDIA GPU上加速GEMM及其他基础线性代数子程序(BLAS)运算。低精度硬件的快速发展,促使业界探索一类新算法,使其能在速度更快的整数Tensor Core上交付完整的双精度计算结果。
借助CUDA Toolkit 13.4.2,cuBLAS不再需要在精度和速度之间做出取舍。cuBLAS将每个双精度数拆分为整数片段,在GPU的Tensor Core上进行乘法运算,再将结果重新组合还原。这样得到的结果仍保持完整的双精度精度,但运算过程运行在速度更快的硬件上。
两种新算法让这一过程更加高效:Ozaki-II相比早期的Ozaki-I方法所需的整数乘法次数更少;2M方法则将复数矩阵乘法从四次实数乘法减少为两次。这一成果建立在《通过cuBLAS中的浮点仿真释放Tensor Core性能》一文中所介绍的自动动态精度(ADP)框架基础之上,该框架通过将FP64运算映射到整数Tensor Core上,同时保持原生FP64精度,从而提升双精度(FP64)矩阵乘法性能。
cuBLAS无需修改应用代码即可自动加速DGEMM和ZGEMM。由于速度提升只有在精度不受损的前提下才有意义,我们在真实应用场景中对两者进行了验证:量子化学中的耦合簇单双激发(CCSD)方法,以及材料科学中的BerkeleyGW。本文将介绍这些算法的工作原理,展示基准测试和应用结果,并说明如何开始使用。
性能亮点
CUDA Toolkit 13.4.2中的cuBLAS带来了以下性能提升:
采用Ozaki-II的cuBLAS DGEMM在NVIDIA VR NVL72和NVIDIA GB200上,运行速度分别比原生FP64快5.5倍和3.9倍。在NVIDIA GB200上,其速度也比Ozaki-I快2倍。
在FP64精度下,使用采用Ozaki-II的cuBLAS DGEMM的CCSD案例研究,在NVIDIA VR NVL72和NVIDIA GB200上相较原生FP64分别实现了2倍和1.4倍的端到端加速。在特定领域的混合精度模式下,相较原生FP64的端到端加速则分别达到5倍和3.5倍。
采用2M算法的cuBLAS ZGEMM在NVIDIA GB200上相较原生复数FP64(CFP64)实现了5倍加速。
使用采用2M算法的cuBLAS ZGEMM的BerkeleyGW案例研究,在NVIDIA VR NVL72和NVIDIA GB200上相较原生ZGEMM分别实现了6.6倍和3.9倍加速。
采用Ozaki-II的cuBLAS DGEMM在NVIDIA VR NVL72、NVIDIA GB200、NVIDIA RTX PRO 6000上分别可达到最高175、147和37 TFLOPS的性能。
从Ozaki-I到Ozaki-II
Ozaki-I和Ozaki-II方案共享相同的第一步,但在大整数乘法的执行方式上有所不同。两种方案都会对输入矩阵的指数进行对齐,并转换为共享指数、可变长度的整数表示形式,以便乘积能在整数Tensor Core上精确累加。cuBLAS使用启发式算法在Ozaki-I和Ozaki-II之间自动选择以获得最佳性能。整数宽度由ADP在运行时自动选定,用户也可以显式设置。
Ozaki-I将每个大整数拆分为8位切片,并以三角模式将A的切片与B的切片相乘,因此Tensor Core GEMM的数量会随切片数量的平方增长。
Ozaki-II基于中国剩余定理(CRT)使用了更快的大整数乘法算法。它将每个量化操作数按一组两两互质的小整数取模,每个模数仅执行一次整数GEMM运算,再从余数中重构出精确的乘积结果。采用Ozaki-II时,GEMM数量与模数数量呈线性关系,而Ozaki-I的GEMM数量则随切片数量的平方增长,因此随着精度目标的提高,Ozaki-II的优势会进一步扩大。在匹配FP64所需的精度水平下,Ozaki-I所需的Tensor Core GEMM数量大约是Ozaki-II的两倍。
由于Ozaki-II需要为每个模数生成一对余数,简单的实现方式将会占用比Ozaki-I大得多的工作空间。不过,cuBLAS已经将CTK 13.3中为Ozaki-I引入的节省内存的平铺技术,同样应用到Ozaki-II方案中,每完成一次GEMM运算就立即丢弃对应的余数对,从而让工作空间大小更易于管理。
cuBLAS ADP框架旨在提供与标准浮点GEMM算法相当或更优的精度保证。关于定点方法精度的更多信息可参见相关参考文献。如果在运行时发现,为保持与FP64等效的精度所需的尾数位数超过了库默认值或用户设定的最大值,cuBLAS会回退到使用原生FP64 MMA指令的代码路径。因此,应用程序可以安全地在生产环境中使用cuBLAS,而无需担心数值精度问题。下方图1展示了在GB200上,采用Ozaki-II的cuBLAS DGEMM相较Ozaki-I的加速效果。
DGEMM性能
NVIDIA Rubin
Rubin引入了一种新的数值格式TI16(采用符号-幅值表示的12位整数,范围为[-2047, +2047]),非常适合用于加速Ozaki方案的计算。在NVIDIA Rubin GPU(计算能力10.7)上,cuBLAS 13.4通过tcgen05.mma指令使用TI16类型来加速Ozaki-I和Ozaki-II的计算。下方图2展示了在VR NVL72上,采用Ozaki-II的cuBLAS DGEMM相较原生FP64的加速效果。
DGEMM应用性能——量子化学中的CCSD
为展示Ozaki-II DGEMM在实际应用中的潜在性能,我们以耦合簇单双激发(CCSD)方法作为案例研究。CCSD是电子结构计算中一种基础性的后DFT方法,与(T)摄动修正(本文未涉及)结合,构成了量子化学的"黄金标准"。
此外,CCSD对各种摄动的响应还衍生出用于处理电子激发态的EOM-CCSD方法,以及用于性质计算的CCSD lambda方法。CCSD以密集FP64张量收缩运算成本极高而著称,而cuBLAS中的Ozaki-II方案能够显著加速这类运算。
我们使用CTK 13.4.2中的cuBLAS实现了一个小规模CCSD演示案例,用于主要张量收缩运算,耦合簇问题的构建则由cuEST v0.2.2加速完成。我们在密度拟合表示下构建了标准的FP64单GPU T1变换受限CCSD方法。下方图3展示了针对S22数据库中五个中等规模体系(冻结核CCSD/cc-pVTZ方法)的性能数据——这些体系包含24至28个原子、约590至630个原子轨道。
在保证完整FP64精度的ESC模式下,Ozaki-II DGEMM的性能随硬件代数提升而单调增长,Rubin相较A100实现了4.7倍的总体加速。另一个颇具吸引力的方案是使用面向特定应用的混合精度模式,固定Ozaki-II尾数位预算(此处选定为32位)。该方案同样实现了单调性能提升,相较原生FP64 A100的总加速比达到11.5倍。在保持完整FP64质量的ESC模式下,计算结果与原生FP64精度几乎无法区分——CCSD关联能的误差小于10-14 Eh。
Ozaki-II仿真提供了一种可能性:在使用32位尾数的较低固定精度下,仍能为绝大多数实际应用提供足够的精度保证;能量误差小于10-10 Eh,振幅方程可收敛至10-9或更优的残差水平。
在Rubin平台上,对于尿嘧啶二聚体的冻结核CCSD/cc-pVTZ计算,采用32位尾数的固定精度方案实现了173 TFLOPS的端到端吞吐量;单个GEMM的吞吐量最高可达368 TFLOPS,平均GEMM吞吐量为200 TFLOPS。在求解分子性质计算所需的CCSD lambda响应方程时(图中未展示),也获得了类似的吞吐量水平。
复数GEMM:从4M到3M到2M
传统上,复数GEMM通常被计算为四次相同规模的实数GEMM(4M):
A = Ar + i(Ai); B = Br + i(Bi) C = A x B = (Ar·Br – Ai·Bi) + i(Ar·Bi + Ai·Br)
著名的3M算法将这一过程简化为三次实数GEMM加上二次时间复杂度的前后处理。在浮点运算中,使用3M算法需要格外谨慎,因为在重构过程中形成Ar + Ai和Br + Bi的和,以及对中间乘积进行减法运算,可能会降低数值稳定性。
而采用Ozaki-II方案时,加法、减法和乘法运算全部都是精确的整数运算,因此复数乘法方法的选择不再影响结果的精度。虽然两个复数相乘无法用少于三次实数乘法完成,但在这种精确整数运算的场景下,矩阵乘积并不受此限制:2M算法仅用两次实数GEMM运算就能计算出复数乘积,而非四次。最终结果是,ZGEMM的计算成本如今大约只是同规模实数GEMM的两倍,而非四倍。完整的推导过程可参阅2M相关论文。
从CUDA Toolkit 13.4开始,cuBLAS采用2M算法来加速ZGEMM,下方图4展示了在GB200上,2M+Ozaki-II方案相较传统4M方法所实现的加速效果。
ZGEMM应用性能——BerkeleyGW
BerkeleyGW代码被研究人员用于研究材料中因电子能级变化而产生的物理特性。这是一款大规模并行代码,已在顶级超算上实现满规模运行。在BerkeleyGW中使用GPU相比纯CPU实现可带来高达86倍的性能加速,而借助cuBLAS对ZGEMM的最新优化,这一加速效果还能进一步提升。
默认情况下,cuBLAS会使用其ADP框架来确定相关参数,从而在BerkeleyGW Epsilon模块的CHISUM例程中,提供与标准复数浮点(CFP64)GEMM算法相当或更优的精度保证。这一过程对用户而言是自动完成的,无需修改任何应用代码。我们在以下几种配置下评估了精度和性能:原生ZGEMM、搭配ADP的Ozaki-II 2M,以及采用53位精度的Ozaki-II 2M,这几种配置在NERSC-10测试标准规定的10位小数精度范围内,均得出了相同的Epsilon矩阵元素结果。
在GB200上,从原生ZGEMM切换到采用53位精度的Ozaki-II 2M方案,带来了3.9倍的端到端加速。同样地,我们在VR NVL72上观察到了6.6倍的加速效果。总体而言,从Blackwell上的原生ZGEMM到VR NVL72上采用53位精度的Ozaki-II 2M ZGEMM,我们观察到了5.8倍的整体加速。图5展示了在32个Blackwell和Rubin GPU上(每节点配备2个Grace CPU+4个B200 GPU,以及2个Vera CPU+4个R100 GPU),运行BerkeleyGW Epsilon模块在参考问题规模(Si998)下的端到端性能加速情况。
GB200、RTX PRO 6000上的DGEMM性能
下方图6展示了在GB200上,采用Ozaki-II的DGEMM相较原生FP64的加速效果。在最小规模的矩阵形状下,ADP判定Ozaki-II路径并无优势,因此转而调用原生FP64;但随着M、N、K数值增大,性能增益稳步提升,在测试的最大矩阵形状下达到3.9倍。
性能增益的上限取决于GPU的整数Tensor Core吞吐量相对于其原生FP64单元的比例,而这一比例在整个产品线中差异很大,NVIDIA RTX PRO 6000 Blackwell服务器版处于该范围的极端一端。下方图7展示了在RTX PRO 6000 Blackwell SE上,采用Ozaki-II的DGEMM相较原生FP64的加速效果。从图中可以看出,Ozaki-II在所测试的全部矩阵规模范围内均有收益,即便是最小规模也能实现相较原生FP64达10倍的提升,而最大规模下这一数字可达23倍。
快速入门
下载并安装最新版NVIDIA CUDA Toolkit
阅读cuBLAS文档中关于浮点仿真的章节,获取完整的API详情,包括cublasSetEmulationStrategy()函数以及尾数位数的手动控制方法。
在GitHub上探索cuBLAS仿真示例代码
在您自己的工作负载上评估性能提升效果,并与我们分享您的发现——我们期待就API设计以及精度与性能的权衡取舍收到反馈。您可以通过NVIDIA加速计算开发者论坛与我们联系。
致谢
Jiqun Tu为本文做出了贡献。
