2024-11-06
腾讯放大招,超Meta!史上参数最大,开源专家混合模型
腾讯开源了基于Transformer架构的Hunyuan-Large模型,拥有3890亿参数,优于Meta的LLama3.1 - 405B模型。Hunyuan-Large采用MoE结构,高效训练和推理,支持长达256K上...
腾讯开源了基于Transformer架构的Hunyuan-Large模型,拥有3890亿参数,优于Meta的LLama3.1 - 405B模型。Hunyuan-Large采用MoE结构,高效训练和推理,支持长达256K上...