LIVE INDEX / 最新文章
UMoE:让AI更聪明的"专家分工制"——东京科学技术大学等联合推出统一混合专家架构

UMoE:让AI更聪明的"专家分工制"——东京科学技术大学等联合推出统一混合专家架构

这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩...