2025年8月25日,OpenAI正式发布了公司首款AI加速芯片"Jalapeno"(辣椒)。该芯片提供高达13.4 petaflops的4位计算能力,并可访问232GB当前最先进的内存,带宽高达每秒15.4TB。OpenAI引用的基准测试显示,与公司目前依赖的英伟达GB300芯片相比,Jalapeno能将端到端延迟(从提示词输入到最后一个Token输出的时间)降低多达3.6倍,同时功耗更低。

这些数据在Jalapeno全面投入OpenAI推理集群使用后能否转化为实际收益,目前还有待观察,但性能只是故事的一半。另一半则是这款芯片的设计方式——正如你所料,这一过程借助了OpenAI自家大语言模型的加速。Jalapeno从最初的架构概念到首批芯片流片,仅用了不到20个月。从首版RTL(定义芯片逻辑的寄存器传输级代码)到定案流片(完成设计送交制造),中间仅隔了九个月。

这是一个相当快的时间表,但专家认为,随着大语言模型的进步以及在芯片设计工具中更深入的集成,这样的速度很快就会显得缓慢。OpenAI对此显然持乐观态度。"这些模型正在赋予我们的工程师超能力,"OpenAI硬件副总裁理查德·何(Richard Ho)说。"我们的工程师仍然主导着这项工作,他们仍是最终的决策者。但他们能更快地完成工作,能探索更多的路径。"

OpenAI用小规模设计团队取得了快速成果

何表示,负责设计Jalapeno的团队在项目期间平均人数不到100人,如今随着团队推进第二代和第三代设计,人数依然维持在约100人左右。这个数字涵盖了硬件团队中从系统设计到软件、供应链等广泛的职能角色,但不包括与OpenAI合作该项目的博通(Broadcom)的员工。

OpenAI与博通之间的分工大致是设计与实施的划分。OpenAI团队负责端到端的系统设计,包括推理加速器、内存层级结构和网络连接。博通则负责"从门级开始的物理设计",何说道。

与博通的合作让一些人对OpenAI速度的评价打了折扣。敏捷芯片设计初创公司Verkor.io联合创始人大卫·陈(David Chin)表示,"他们给出的时间表相当可信",但他认为博通的协助对于Jalapeno的快速进程是必不可少的。"如果换成别人从零开始,是不可能做到的。"Verkor.io另一位联合创始人拉维·克里希纳(Ravi Krishna)称OpenAI的速度"是相对令人印象深刻的成果",但他补充说,如果这个项目从今天开始,大语言模型能力的提升可能会带来更快的时间表。

加州大学圣地亚哥分校特聘教授安德鲁·康(Andrew Kahng)也认为OpenAI的速度值得关注,称其"可能是目前业内最好的"。康回忆起2016年他共同组织的IEEE设计自动化未来研讨会。当时理查德·何还是谷歌的一名工程师,作为主题演讲人参加了该研讨会。何对设计自动化有着强烈的见解,他将完成芯片设计所需的时间视为团队每天能完成的迭代次数的函数。

OpenAI的大语言模型如何加速Jalapeno的设计

"自动化本身在芯片设计领域已经存在了几十年,这不是一个新问题,"马里兰大学半导体倡议与创新总监安库尔·斯里瓦斯塔瓦(Ankur Srivastava)说。然而,大语言模型与以往自动化工具的不同之处在于其理解语言和代码的能力。他说,这使得它们特别适合那些"仍处于问题的语言领域"的芯片设计任务。

OpenAI团队设计了一套充分利用这一优势的工作流程。OpenAI的前端工作流建立在加速硬件综合工具(XLS)之上,这是谷歌最初开发的一套开源高级综合工具链。高级综合是一种芯片设计自动化形式,让工程师能在更熟悉的编程环境中设计芯片。以XLS为例,芯片设计人员可以用DSLX(一种受Rust启发的领域特定语言)和C++等语言编写代码,随后XLS会将其转换为用于描述电子系统的硬件描述语言Verilog。

"我们当时在思考如何利用AI让项目进展更快,而AI在处理'看起来像软件'的事情上表现更好,"OpenAI技术团队成员克里斯·利里(Chris Leary)说。"XLS在某些方面看起来就像软件,所以它得益于这一点。"此外,利里对XLS的运作方式非常熟悉也起到了帮助作用,因为他在谷歌工作期间就参与了XLS的创建。

康也认为,使用AI来加速像XLS这样的高级综合工具是合理的,因为这"对大语言模型来说更自然",也提供了快速迭代的机会。"我认为这是一种普遍有用的工作流程,而且是一种'具有持续生命力'的方式,未来会继续发展。"

同样的逻辑也让Jalapeno团队专注于软件优化。当5月份第一批芯片从代工厂送回时,团队让内部AI模型开始设计软件,用于运行SemiAnalysis的InferenceX等基准测试。在DeepSeek的多头潜在注意力内核基准测试中,性能在约40小时内从理论上限(由芯片计算和内存带宽决定)的0.31%提升到了88.94%。何表示,这一结果是可复现的,因此从代工厂交付首批芯片到量产爬坡之间的时间可以缩短。"我们所有的进度假设都将基于我们现在拥有这种能力这一事实。"

Jalapeno芯片设计用于部署在包含2048个芯片的机柜集群中。

尽管Jalapeno团队AI辅助工作流程的大体方向是何和利里事先预判的,但OpenAI模型的进步确实带来了一些意外的惊喜。

利里表示,项目最初是借助o3等模型的辅助开始的,该模型于2025年4月向公众发布(但Jalapeno团队更早就能使用)。然而,到项目收尾时,团队已经能够使用GPT-6 Astra的前身模型,而GPT-6 Astra直到2026年9月3日才向公众发布。利里说,这款更新的模型可以直接处理Verilog代码,而不需要通过XLS从普通编程语言进行转换,并且已经接近能够独立操作专有设计工具。

何还确认,团队使用了未向公众开放的、专门针对芯片设计微调过的内部大语言模型。他没有透露所用模型的具体细节,但补充说Jalapeno团队与OpenAI的研究团队展开了合作。虽然并非所有用于设计Jalapeno的具体模型都已公开,但何表示,目标是将项目中获得的经验教训带入公司的商业化大语言模型中。"可以肯定地说,Astra及后续模型将非常擅长芯片设计,"他说。

AI在后端优化上作用有限,但情况可能会改变

如前所述,OpenAI在Jalapeno上的大部分工作集中在芯片设计的"前端",涵盖从最初概念到编写定义设计的RTL代码,再到验证设计在物理实现后能否正常工作的各个环节。而"后端"设计的大部分工作,包括互连布线、完成并验证时钟与功耗规格,以及向代工厂发送所需设计信息等任务,则交给了负责将芯片推向量产的博通。

不过,这并不意味着OpenAI的工作流程完全忽略了后端。Jalapeno团队中包括物理设计工程师,他们与博通的对应团队合作,为芯片的布局规划和布线等提供指导意见。

在2026年IEEE Hot Chips大会上,何和利里公布了AI引导的物理设计优化所带来收益的具体数字,其中包括与经过优化的人工基准相比,矩阵乘法单元的面积缩减了10%。换句话说,OpenAI声称,AI引导的优化帮助在相同面积的硅片上设计出了比以往更多的电路。

博通使用了自己内部的工作流程。该公司团队无法使用OpenAI用于协助设计Jalapeno的内部模型,但可以使用OpenAI公开的商业模型。

Verkor.io的拉维·克里希纳表示,OpenAI在后端设计上的方法已经显得有些保守,他认为这是项目所处时间点(该项目始于2024年10月)造成的结果。"过去四到五个月的模型已经有了提升。从(2026年)4月开始……它们才真正开始能更好地处理这些任务,"他说。Verkor.io联合创始人苏雷什·克里希纳(Suresh Krishna)也表示认同,称"没有理由不能建立一个能够在很大程度上加速后端流程的智能体循环"。

何和利里也暗示,与团队下一步的工作相比,设计Jalapeno所用的工作流程可能会显得有些过时。

"可以想象,在(Jalapeno项目)中,我们是在尽可能快地推进。所以这里存在一个权衡:'我们是想花时间做一些创新,还是想做那些我们知道历史上行得通的事情?'"利里说。"到了第二代,我们有了一种'重新设定'的机会,可以重新审视我们希望搭建好的所有事项。"

何表示,第二代芯片的工作流程"有很多地方我们正在引入(AI)"。他提到了在验证和物理设计方面进一步运用AI的机会。利里补充说,团队现在拥有自动化波形操作与查看工具,这能自动化分析以识别与故障相关的芯片时钟信号,并有可能在硬件设计阶段就改进调试工作。

尽管有这些预期中的改进,何和利里明确表示,他们并不认为芯片设计可以完全自动化。"我们并不是说任何人都可以直接用(OpenAI的编程平台)Codex来构建最先进的前沿AI/ML加速芯片,"何解释道。"我们想说的是一些非常具体的东西,关于如何更好地使用Codex,以及我们如何专注于小团队和快速时间表来达成高质量的成果。"

Q&A

Q1:OpenAI的Jalapeno芯片性能怎么样?

A:Jalapeno提供高达13.4 petaflops的4位计算能力,可访问232GB内存,带宽达每秒15.4TB。相比英伟达GB300,端到端延迟最多可降低3.6倍,同时功耗更低。

Q2:OpenAI设计Jalapeno芯片用了多长时间?

A:从最初的架构概念到首批芯片流片,Jalapeno用了不到20个月;从首版RTL代码到定案流片,仅用了九个月,这在业内被认为是相当快的速度。

Q3:OpenAI是如何利用大语言模型加速芯片设计的?

A:OpenAI团队用大语言模型辅助基于XLS高级综合工具的前端设计流程,让工程师能用类似软件开发的方式设计芯片,还用AI模型优化软件性能和物理设计布局,大幅缩短了设计周期。

Spectrum