OpenAI 首次向用户广泛开放其决策 API 模型，正式进入快速、低成本智能决策这一市场。此前，由某前沿实验室研究员创立的初创公司 TypeSafe 凭借同类产品迅速成长为估值 76 亿美元的公司，让这一赛道备受关注。
TypeSafe 的 Jev 模型开创了一个全新类别：这类深度学习模型如同超级分类器，能够在给定一组选项的情况下迅速做出选择，并对判断结果给出置信度评分。软件开发者很快发现，这类决策模型（也被称为"系统一"模型）可以在多种工作流程中替代大语言模型，运行速度更快，成本也大幅降低。
OpenAI 的 API 产品负责人尼库吉·汉达（Nikunj Handa）告诉 TechCrunch，他的同事们看到 Jev 后，惊呼"我们好像有上百万个应用场景可以用这个"。汉达的团队随即加速推进，打造了自己的版本：团队并没有专门训练一个校准好的决策模型，而是将 ChatGPT Luna 进行重新配置，以加快推理速度并降低成本。
"决策 API 带来的最大突破就是速度——把原本一到三秒的响应时间，压缩到了 100、120 甚至 180 毫秒，"汉达说道。"未来我们可能会针对这方面进行专门训练，让模型表现得更好。但目前，用的就是普通的 Luna 模型，它已经能胜任这项工作了。"
该产品于 9 月 29 日的开发者大会上首次公布，并已于上周四正式向所有客户开放。OpenAI 为公开版本新增了语音和视觉模态支持，并通过在全球各地区针对性部署推理资源，努力降低延迟。
在与 Box、Datadog、Ramp、Speak 等客户的初期试用中，工程师们利用该 API 替换了原有的大语言模型，实现了更高的吞吐量。开发 AI 语言辅导产品的 Speak 公司首席技术官安德鲁·徐（Andrew Hsu）表示，决策 API 让公司将操作间隔时间从 1.4 秒缩短到了 0.13 秒。OpenAI 自身也利用该产品提升了其语音助手 Dots 的响应速度。
不过，究竟什么才算得上是一个优秀的决策模型，目前仍没有明确标准，唯一的判断依据似乎就是"它对你管用"——在智能水平、成本、校准精度和速度之间的最优平衡，似乎因具体工作负载而各不相同。TypeSafe 首席执行官迪奥戈·阿尔梅达（Diogo Almeida）对各类基准测试持怀疑态度，建议用户在自己的实际工作中进行试用，不过 TypeSafe 上周在发布最新版 Jev 模型（新增图像支持和智能条件判断功能）的同时，也公布了自家的排名结果。
从 AIM System One Index 和 Artificial Analysis Decision Index 等公开基准测试来看，Liquid 公司上周发布的新款决策模型 D1 Ultra，以及 Base Lab 公司的 Elephant-1，往往占据领先位置。最新版 Jev 模型在两项指数中依然具有竞争力，分别排名第七和第三，而 OpenAI 的决策模型则分列第八和第十四位。尽管如此，TypeSafe 的产品目前在 OpenRouter 平台上的调用量仍是最高的。
而 Jev 最有趣的基准测试当属 JevMan——一项让决策模型玩吃豆人（PacMan）游戏的测试，最新版 Jev 模型在该排行榜上名列榜首。该基准测试的开发方 Opper AI 首席增长官菲利克斯·翁德利希（Felix Wunderlich）表示，这款经典游戏"之所以是一项有趣的测试，是因为它需要持续不断地做出快速且高风险的决策。在每一个路口，模型都必须在几百毫秒内决定该往哪走。"
而 OpenAI 的模型虽然整体能力可能更强，其优势或许体现在多模态能力上——在图像分类方面，汉达告诉 TechCrunch，"Luna 的能力非常强大，校准表现也更出色"，他还补充说，OpenAI 的客户希望决策 API 在将图像用作输出结果方面也能更具灵活性。
汉达还提到，速度的进一步提升将催生新的应用场景："如果我们能把响应时间压缩到大约 60 毫秒，那你就可以想象，比如针对视频中的每一帧画面都调用一次 API。"
随着这类产品变得越来越快、越来越便宜，我们可以预见它们将不负"Jev"这个名字——这个名字来源于一位经济学家，他曾阐释过资源利用效率的提升反而会使其使用更加普遍的现象。或者，正如汉达所看到的那样，未来将会涌现出一系列"疯狂的应用场景"，这些场景此前一直明摆在眼前，却直到决策模型的出现才被真正发掘出来。
