混合专家模型 关键字列表
马斯克打脸OpenAI,全球最大巨无霸模型Grok-1开源!3140亿参数8个MoE,GitHub狂揽6k星

马斯克打脸OpenAI,全球最大巨无霸模型Grok-1开源!3140亿参数8个MoE,GitHub狂揽6k星

马斯克旗下xAI开源了Grok-1,一个3140亿参数的混合专家模型,成为迄今为止参数量最大的开源LLM。Grok-1未针对特定任务微调,使用JAX和Rust自定义训练堆栈训练。项目在GitHub上迅速获得关注,马斯克借此讽刺OpenAI的开放性。Grok-1的开源可能推动AI技术的广泛采纳和快速发展,同时加入开源与闭源的辩论。