在周二举行的Hot Chips大会上，OpenAI公布了Jalapeno芯片的更多细节，并首次披露了该系统的基准测试结果。在SemiAnalysis的InferenceX基准测试中，Jalapeno无论是每用户Token数量，还是每千瓦算力吞吐量，均超越了目前市场上最先进的推理处理器。
"测试结果表明，Jalapeno的性能相比现有最优水平取得了非常显著的进步。"OpenAI硬件负责人Richard Ho在媒体电话会上表示，"Jalapeno能够在单位功耗内处理更多AI任务，同时以更低的延迟返回响应。它不仅能高效服务大量用户，也能实现极低的响应时延。"
值得注意的是，此次对比的对象是英伟达Blackwell系统——但Jalapeno正式大规模部署时，竞争格局可能已发生显著变化。Ho预计Jalapeno将于2026年底开始"小批量"部署，2027年才会进入更大规模的商用阶段。
Jalapeno于去年10月首次对外宣布，由OpenAI与博通紧密合作开发，OpenAI自研模型也参与了开发过程。OpenAI计划将Jalapeno打造为多代演进平台，推动AI产品、模型、芯片与存储的协同研发。
凭借这种全栈一体化的开发思路，OpenAI得以针对推理过程中的具体瓶颈环节进行优化。Jalapeno专门针对推理处理中常见的预填充阶段和通信阶段进行了设计，以减少这两个环节带来的延迟。
"我们在设计Jalapeno时，重点在于最大限度地减少数据移动和通信延迟。"OpenAI在发布测试结果的博客中写道，"这意味着包括生成响应时使用的KV缓存在内的模型状态，可以被明确放置并保持在本地，同时系统会根据每个推理阶段的需要，激活最合适的计算、内存和网络资源组合。"
Q&A
Q1：Jalapeno芯片的基准测试结果怎么样？
A：在SemiAnalysis的InferenceX基准测试中，Jalapeno的每用户Token数量和每千瓦算力吞吐量均超越了目前最先进的推理处理器，对比对象为英伟达Blackwell系统。OpenAI硬件负责人Richard Ho表示，这是相比现有最优水平非常显著的性能进步。
Q2：Jalapeno芯片什么时候能正式上市？
A：OpenAI预计Jalapeno将于2026年底开始小批量部署，2027年才会进入更大规模的商用阶段。不过届时竞争格局可能已发生显著变化，英伟达等竞争对手的产品也会持续迭代升级。
Q3：Jalapeno芯片是如何解决推理瓶颈问题的？
A：Jalapeno专门针对推理过程中的预填充和通信两个阶段进行了优化设计，通过最小化数据移动和通信延迟，将KV缓存等模型状态明确保持在本地，并根据不同推理阶段灵活调配计算、内存和网络资源，从而有效降低延迟、提升效率。
