用NVIDIA Megatron Core实现大规模确定性预训练

NVIDIA在Megatron Core中实现了位精确确定性预训练，支持故障复现、断点续训和变更验证。以万亿参数Nemotron模型为例，通过内核与配方优化，在2432块GPU上将确定性训练的性能开销降低至约2%。

NVIDIA GB300 NVL72刷新MoE预训练世界纪录

英伟达GB300 NVL72在256块GPU上预训练DeepSeek-V3 671B模型，实现每GPU 1,648 TFLOPs的世界纪录，是上代GB200 NVL72结果的约3倍。该系统通过NVLink第五代互联、Co...