Meta宣布将重点发力开源权重大语言模型,并同步发布了名为Muse Glimmer的开源模型,同时承诺将在未来几周内开放其更强大模型Muse Spark 1.2的权重。

伴随上述发布,Meta首席执行官马克·扎克伯格发表了一篇逾6000字的长文,系统阐述了公司在AI系统与治理方面的未来理念。这篇文章意在将Meta与OpenAI、Anthropic等公司加以区分——后者专注于开发专有模型,并已游说美国政府,希望在应对大规模蒸馏技术(即利用现有模型训练新模型)以及中国实验室开放权重模型的竞争中获得支持。

Muse Glimmer是一款拥有300亿参数的模型,默认支持128,000 Token的上下文窗口。它从Meta今年早些时候发布的更大、能力更强的Muse Spark蒸馏而来,定位于在用户本地设备上运行,而非依赖云服务或API。Glimmer的权重基于Apache 2.0许可证开源。

Muse Spark于今年4月作为封闭专有的前沿级模型推出,这是Meta去年对AI团队进行重大调整后发布的首款重量级模型,也标志着其从以开放模型为主的策略中转向。今年7月Muse Spark 1.1发布时,Meta首次推出了付费服务,再度偏离此前路线。Muse Spark 1.2于8月5日发布,并随之推出了终端编程智能体Muse Code。

开发者普遍认为,Muse Code在能力上尚不能与Anthropic或OpenAI的前沿模型相抗衡,但在成本上颇具竞争力,这与许多中国实验室的开放权重模型定位相近。

作为一款专为消费级GPU设计的小型模型,Muse Glimmer并不参与前沿模型的直接竞争,但它折射出一种日益壮大的趋势——将部分推理计算迁移至本地设备,以降低对Anthropic、OpenAI等大型实验室模型的依赖与支出。

在模型发布的同时,马克·扎克伯格以个人署名发表了一封公开信,详细阐述了Meta的AI企业战略,并就AI应如何被开发、分发与监管提出了更宏观的主张。

此前,多家大型科技公司和AI企业的领导人已就开放权重模型、专有实验室以及蒸馏技术的利弊展开公开辩论——据报道,部分中国实验室正是通过蒸馏技术构建出能与Anthropic等公司最新成果相抗衡的模型。

7月24日,英伟达、Hugging Face、Meta、Mistral、Mozilla、OpenAI等多家公司联署了一封题为《开放权重与美国AI领导力》的公开信,呼吁重视开放权重模型的价值,并为蒸馏技术作为合法实践进行辩护,同时划定了"非法从封闭模型中提取价值"的边界,倡导"以针对性的法律与商业框架取代对AI创新关键技术的一刀切限制"。

在蒸馏技术问题上,Meta与扎克伯格写道:

模型之间相互学习的能力,是开源生态系统运作的重要原则。所有AI模型都源于人类知识。有人试图将蒸馏定性为有害行为,但我认为必须捍卫这一原则:你有权从任何可观察到的事物中学习。

不过,这篇长文的核心着墨于去中心化AI系统的广泛分发理念,并直接回应了那种认为"必须严格管控专有AI模型才能防范存亡级威胁或灾难性对齐失败"的论点:

令人诧异的是,许多AI开发者的言论中充斥着末日情绪。我无法理解,一个相信AI将消灭大多数工作岗位、令人类大幅失去意义的人,为何还要急于亲手构建这样的未来。所谓"AI危险到只有极度集中权力才是唯一安全出路",这种观念本身就存在根本性问题。

扎克伯格还写道,以Anthropic为代表的公司所秉持的对齐观——声称正在训练具备操作参数与安全护栏的单一宏观基础模型,以确保其广泛造福人类——"在根本上是存在缺陷的"。

Q&A

Q1:Muse Glimmer是什么模型?有哪些特点?

A:Muse Glimmer是Meta发布的一款开源大语言模型,拥有300亿参数,默认支持128,000 Token的上下文窗口。它从Meta更强大的Muse Spark模型蒸馏而来,专为在用户本地设备(消费级GPU)上运行而设计,无需依赖云服务或API,权重基于Apache 2.0许可证开源。

Q2:Meta的Muse Code和OpenAI、Anthropic的模型相比怎么样?

A:开发者普遍认为,Muse Code在综合能力上尚不能与Anthropic或OpenAI的前沿模型相抗衡,但在使用成本上颇具竞争力。这一定位与许多中国实验室发布的开放权重模型较为相似,适合对成本敏感、对绝对性能要求不是最高的开发者使用。

Q3:扎克伯格在公开信中对AI蒸馏技术持什么立场?

A:扎克伯格明确支持蒸馏技术的合法性,认为模型之间相互学习是开源生态系统运作的重要原则,所有AI模型本质上都源于人类知识。他主张必须保护"从任何可观察事物中学习"的权利,并批评将蒸馏定性为有害行为的观点,倡导以针对性法律框架替代对该技术的一刀切限制。

ArsTechnica - AI