借助NVIDIA Transformer Engine在JAX中加速无丢弃MoE训练

NVIDIA通过Transformer Engine对JAX中的Dropless MoE训练进行分组GEMM、专家并行等优化，使DeepSeek-V3训练性能从103提升至1068 TFLOPS/GPU，1024 GPU...

NVIDIA GB300 NVL72刷新MoE预训练世界纪录

英伟达GB300 NVL72在256块GPU上预训练DeepSeek-V3 671B模型，实现每GPU 1,648 TFLOPs的世界纪录，是上代GB200 NVL72结果的约3倍。该系统通过NVLink第五代互联、Co...