大模型 训练 张量并行 2024-12-30 国产开源之光:DeepSeek-V3划重点 DeepSeek-V3 采用了 671B 参数 MoE 架构,配备约 37B 激活单元,训练使用14.8T Token数据。