LIVE INDEX / 最新文章
腾讯天美AI团队重新定义语言模型训练:精确还是多样?探索下一个词预测的新平衡

腾讯天美AI团队重新定义语言模型训练:精确还是多样?探索下一个词预测的新平衡

腾讯联合香港中文大学的研究团队首次发现,在大语言模型训练中追求精确性比多样性更有效。他们重新解释了传统交叉熵损失为强化学习算法,提出创新的奖励塑形策略,通过精细化奖励机制平衡多样性与精确性。实验表明精确导向的预训练策略能...