生物基础模型的高效MoE训练技术

NVIDIA发布BioNeMo MoE训练方案，结合Transformer Engine的GroupedLinear、MXFP8精度及融合GroupedMLP内核，在8块B200 GPU上相比Hugging Face基线...

借助NVIDIA Transformer Engine在JAX中加速无丢弃MoE训练

NVIDIA通过Transformer Engine对JAX中的Dropless MoE训练进行分组GEMM、专家并行等优化，使DeepSeek-V3训练性能从103提升至1068 TFLOPS/GPU，1024 GPU...