训练优化 关键字列表
新方法大幅提升大语言模型训练效率

新方法大幅提升大语言模型训练效率

MIT等机构研究人员开发了名为"TLT"的新训练方法,通过利用处理器空闲时间训练小型模型预测大型推理模型输出,将训练速度提升70-210%且保持准确性。该方法解决了强化学习训练中85%时间消耗在生成多个答案的瓶颈问题,为开发复杂任务处理模型提供了节能高效的解决方案。