LIVE INDEX / 最新文章
UMoE:让AI更聪明的"专家分工制"——东京科学技术大学等联合推出统一混合专家架构

UMoE:让AI更聪明的"专家分工制"——东京科学技术大学等联合推出统一混合专家架构

这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩...

大规模推理能力如何提升大语言模型的事实准确性:从思考长短与可靠性角度的实证研究

大规模推理能力如何提升大语言模型的事实准确性:从思考长短与可靠性角度的实证研究

这篇研究来自丹麦奥尔堡大学的团队,探讨了大语言模型的推理过程如何影响事实准确性。研究者通过从高级推理模型中提取思考轨迹,并用知识图谱增强这些轨迹,然后对不同规模的模型进行微调并在六个数据集上测试。结果表明,对小型模型而言...