随着TypeSafe旗下Jev模型的突然崛起,决策模型已经变得非常受欢迎,因此OpenAI在周二举办的年度DevDay大会上公布自家同类模型方案也并不令人意外。
该公司推出的全新决策API(Decisions API)基于其Luna模型构建,这是目前OpenAI产品线中体积最小、价格最实惠的模型。
有限预览阶段
决策API的推出很可能是对TypeSafe和Jev的回应,OpenAI很可能在DevDay之前加快了发布节奏,因此目前OpenAI对外公布的决策API信息仅限于此。
OpenAI发言人向The New Stack透露,公司计划在“全面推出时”分享更多细节。
目前,这一新API仅处于有限预览阶段,全面发布计划在未来几天内进行。
预设答案,真实置信度分数
这类决策模型的核心理念在于,它们明确不是聊天模型;相反,它们会返回一组带有置信度分数的预设答案。常规大语言模型在这方面表现往往不够理想——毕竟它们给出的置信度分数常常只是粗略估计,而且为了得出这个结果还要消耗不少Token。
这使得这类模型非常适合用于内容分类、请求路由,或是帮助智能体从有限选项中选择下一步行动。
不过,决策模型能够提供更真实的置信度分数,而且返回速度通常极快。OpenAI表示,其模型能在150毫秒内返回结果,相比之下,GPT-6 Luna模型则需要1.6秒。
开发者只需提供问题、答案和上下文即可。
OpenAI让“使用ChatGPT登录”成为在第三方编程工具中使用订阅服务的方式
OpenAI刚刚推出了Dots,这对开发者为何意义重大
OpenAI将200美元套餐额度减半,推出500美元新套餐
OpenAI推出基于Luna构建的决策API,回应TypeSafe的Jev
OpenAI全新GPT-6.1 Sol模型价格低于自家旗舰产品Astra
提示词方案与小型分类器方案
目前,大多数团队处理此类问题的方式是使用常规聊天模型配合精心设计的提示词,要求模型从列表中选择答案,如果运气好的话,再读取Token概率来获得类似置信度分数的结果。
另一种替代方案是训练一个小型分类器。这种方式速度快、成本低,但需要标注数据,而且每当标签集发生变化时都需要重新训练。
决策模型基本上介于这两种方案之间。它在提示词中接收新标签,但返回的是开发者可以直接使用的分数。
这对OpenAI来说并非全新概念。该公司的内容审核API(Moderation API)长期以来也是按类别返回分数而非文字描述,不过在那个API中,类别是由OpenAI预先设定的,而非由开发者自行定义。
目前仍不清楚的是:决策API每次调用的费用是多少,单次请求能处理多少候选答案,以及开发者能否基于自己的数据对其进行调优。这些细节将决定这一API能否成为智能体框架中的标准构建模块,还是仅作为聊天模型之外的一个小众工具存在。
Q&A
Q1:OpenAI的决策API是什么?
A:决策API是OpenAI基于Luna模型推出的新产品,与常规聊天模型不同,它返回的是一组带有置信度分数的预设答案,适合用于内容分类、请求路由或智能体决策等场景。
Q2:决策API相比常规大语言模型有什么优势?
A:决策API能提供更真实的置信度分数,且响应速度极快,OpenAI表示其返回结果仅需150毫秒,而GPT-6 Luna则需要1.6秒,速度优势明显。
Q3:决策API现在可以使用吗?
A:目前该API处于有限预览阶段,OpenAI计划在未来几天内进行全面发布,更多细节将在全面推出时公布。
