稠密模型与MoE模型：激活参数、吞吐量及选型指南

文章解析Dense与MoE两种模型架构差异，以Nemotron 3.5 Lightning为例说明MoE如何用3B激活参数实现30B模型容量，并给出内存、并发、微调等场景选型建议。

腾讯放大招，超Meta！史上参数最大，开源专家混合模型

腾讯开源了基于Transformer架构的Hunyuan-Large模型，拥有3890亿参数，优于Meta的LLama3.1 - 405B模型。Hunyuan-Large采用MoE结构，高效训练和推理，支持长达256K上...