新方法大幅提升大语言模型训练效率

MIT等机构研究人员开发了名为"TLT"的新训练方法，通过利用处理器空闲时间训练小型模型预测大型推理模型输出，将训练速度提升70-210%且保持准确性。该方法解决了强化学习训练中85%时间消耗在生成多个答案的瓶颈问题，为...