DeepMind 致力于大型 AI 模型的分布式训练研究

DeepMind 研究人员提出了一种名为 Streaming DiLoCo 的新方法，可以在分布式环境中高效训练大型 AI 模型。该方法通过优化参数同步和通信策略，显著降低了带宽需求，同时保持了模型性能。这一突破有望推动...