万卡级超大规模智算集群网络运维挑战及实战

大模型训练任务对于网络要求苛刻，34%的训练中断是由网络引起。RDMA的丢包重传机制将导致带宽利用率快速降低，当丢包率达到千分之1时，训练效率降低明显；