使用量化感知蒸馏技术构建Nemotron 3.5 Lightning NVFP4模型

NVIDIA通过量化感知蒸馏（QAD）技术，将Nemotron 3.5 Lightning模型从66GB压缩至22GB的NVFP4格式，在保持精度的同时实现最高4倍吞吐量提升。QAD以全精度BF16模型为教师，通过KL散...