英伟达与Palantir联合优化300亿参数模型，性能超18倍规模大模型-AI基础设施-至顶网

英伟达和Palantir周四宣布，双方正在合作将“主权 AI”引入关键供应链领域，并首先从英伟达自身庞大的供应链体系入手。

这一消息延续了双方去年10月启动的合作关系，当时两家公司表示将结合英伟达的AI计算能力与模型，以及Palantir的软件，帮助企业利用AI做出复杂的运营决策。今年6月，双方将合作扩展至主权AI领域，允许企业在受严格控制的环境中运行和定制英伟达的AI模型，同时将敏感数据和模型权重保留在自己手中。

如今，这项技术已被应用于英伟达内部，双方表示，一个经过微调的小型模型的表现已经超过了体量远大于它的模型。

主权AI的试验场

两家公司基于英伟达供应链运营团队做出的决策，对英伟达300亿参数的Nemotron 3.5 Lightning模型进行了微调。Palantir的Foundry和人工智能平台（AIP）汇集了这些决策背后的数据，其Ontology则充当一张实时地图，将元器件、工厂、产能与生产承诺连接起来。与此同时，英伟达的cuOpt软件负责计算如何分配稀缺零部件，而Nemotron则综合更广泛的背景信息，为规划人员提供行动建议。

两家公司计划将“从英伟达部署中获得的经验”推广至制造、能源、医疗、汽车和航空航天等其他行业的企业。Palantir的客户将能够利用Foundry和AIP，用自己的专有数据训练Nemotron，打造适合自身供应链的定制版本，然后在本地部署，或通过云服务和托管服务商运行。

也就是说，英伟达和Palantir实际上是在英伟达内部落地了双方今年6月提出的主权AI合作方案，并将此次部署作为一个试验场，供其他企业参考、调整出适合自身场景的架构。

以英伟达为试验对象

作为市值高达5.4万亿美元、全球最具价值的上市公司，英伟达有充分理由率先从自身做起。其供应链涉及数百万个零部件、数千家供应商以及全球制造合作伙伴网络，公司表示，仅一台Vera Rubin机架就包含约130万个零部件。这些元器件必须在正确的时间到达正确的地点：一旦某个零件缺失，即便其他部件已全部到位，整个组装环节也可能因此停滞。

“供应链是实体经济的操作系统，而AI工厂是有史以来最复杂的系统之一。”

英伟达创始人兼首席执行官黄仁勋认为，正是这种复杂性使供应链成为该技术的天然应用场景。从芯片、内存到制造、网络、电力与散热，他指出，构建现代AI系统日益依赖于协调一张由众多企业和元器件组成的庞大网络。

黄仁勋在声明中表示：“供应链是实体经济的操作系统，而AI工厂是有史以来最复杂的系统之一。”

Palantir联合创始人兼首席执行官亚历克斯·卡普则进一步指出，英伟达的运营体系为检验双方合作方案提供了一个要求异常严苛的环境。

“英伟达可以说拥有全球最具价值、最错综复杂的供应链。”

卡普在另一份声明中补充道：“英伟达可以说拥有全球最具价值、最错综复杂的供应链。”

主权卖点

长期以来，英伟达一直努力将自身定位于开放模型讨论的中心。今年7月，黄仁勋甚至用他在X平台上的首条帖子，为一封行业联名信造势，呼吁华盛顿方面支持前沿开放权重模型，理由是这类模型能让企业和国家对自身AI基础设施拥有更多掌控权。

到了9月初，英伟达以129亿美元的价格收购了被称为“AI模型界GitHub”的Hugging Face。面对外界担心这家全球主导性AI芯片厂商的收购可能损害Hugging Face中立性的顾虑，黄仁勋承诺该平台将继续保持开放，继续托管来自整个行业的模型，并支持英伟达以外的硬件。

Nemotron是英伟达开放模型战略的核心。这一名称最早可追溯至2023年，当时英伟达发布了首批Nemotron-3 8B模型，供企业进行定制和微调。这些早期模型可通过Hugging Face和英伟达的NGC目录下载，但访问受到英伟达自身社区许可证的限制。因此，尽管这些模型当时已具备可定制性且权重可获取，但英伟达如今所强调的更广泛意义上的“开放模型”定位是后来才逐步形成的。

当前的Nemotron 3系列于去年12月发布，最初包括面向不同智能体AI任务的Nano、Super和Ultra三款模型。如今，英伟达公开了模型权重，并针对许多模型公开了训练数据和训练方法，方便开发者自行定制。今年8月发布的Nemotron 3.5 Lightning，正是英伟达与Palantir为此次供应链部署所微调的300亿参数模型。

这种开放性也正是整个主权AI理念的核心所在：企业可以利用自有专有数据对Nemotron进行调整，同时将数据、模型权重和推理过程始终保留在自身环境之中。

专精胜过体量

英伟达自身的部署结果为外界提供了值得思考的数据。据其披露，经过微调的300亿参数Lightning模型在供应分配任务上的准确率达到86.7%，而5500亿参数的Nemotron 3 Ultra——一个体量约为其18倍的模型——准确率仅为55.5%。

在周四与主要公告同步发布的一篇技术博客中，英伟达解决方案架构师内尔·巴伯、拉娜·哈伯和阿斯塔·忠忠瓦拉指出，这一结果表明了专精化所能达到的效果。在一项定义明确的分配任务上，300亿参数模型的表现超过了体量大出一个数量级以上的通用模型。

“这并不意味着这个小模型整体上更强大，其优势集中在经过后训练优化的特定领域。”

他们补充道：“这并不意味着这个小模型整体上更强大，其优势集中在经过后训练优化的特定领域。尽管经过微调，未来生产风险预测依然困难。专精化改善了决策任务本身，但并未解决与之相关的所有预测问题。”

对于正在考虑采用英伟达这套方案的企业而言，更值得关注的启示或许在于：一个基于具体业务数据训练的小型开放模型，有时可能比动用现有最大规模的模型更加实用。

Q&A

Q1：英伟达和Palantir合作的核心内容是什么？

A：双方合作将“主权AI”引入关键供应链领域，先在英伟达自身供应链中落地，用微调后的Nemotron模型结合Palantir的Foundry、AIP和Ontology等软件，帮助企业做出复杂的供应链决策。

Q2：微调后的300亿参数模型表现如何？

A：经过微调的Nemotron 3.5 Lightning模型在供应分配任务上准确率达到86.7%，而体量约为其18倍的5500亿参数Nemotron 3 Ultra模型准确率仅为55.5%。