在周二举行的OpenAI开发者大会上,一项颇为引人关注的发布出现在CEO萨姆·奥特曼的发言中,他透露了公司推出的全新“决策API”。

该API提供的功能与TypeSafe AI本月早些时候发布的Jev模型颇为相似。Jev是一款专为软件自动化设计的模型,可被视为基于大语言模型构建的超强分类器。开发者可以为Jev提供一组选项,它会以低成本、高速度的方式输出各选项对应的概率。

OpenAI的决策API似乎提供了同类产品。在发布会上,奥特曼将该API描述为一种为公司的Luna模型提供预定义选项集合的方式,例如为图像分类选择类别,或为智能体行为选择不同的执行方案。

奥特曼表示:“通过让模型专注于这种选择,我们能够让它运行得极快,同时保留图像理解、广泛语言支持以及安全防护等能力。”

TypeSafe方面并未回应TechCrunch就新产品提出的问题,但该公司CEO、曾任OpenAI工程师并共同发明强化学习技术的迭戈·阿尔梅达在X平台上就“克隆大战”的开端开了个玩笑。

他补充说,OpenAI的这一举动可能“表明,以兼容System One的方式构建产品才是未来趋势”。(“System One”是TypeSafe用来描述快速直觉思维的专业术语,与之相对的“System 2”则指代深思熟虑的推理过程。)

这背后的潜台词是,我们所熟知的大语言模型并不适合大量软件应用场景,因为相对而言它们速度较慢、成本较高。开发者此前一直在用Jev来增强大语言模型的能力,并发现这样做既更快又更便宜。

目前尚不清楚决策API与Jev的相似程度究竟有多高,因为OpenAI是以有限预览的形式发布该产品的,截至目前,TechCrunch尚未观察到有开发者对其进行实际测试。不过,从X平台上的讨论来看,外界对此显然充满兴趣。

决策API并非互联网上唯一一款类Jev产品——其他初创公司也在推出类似模型;OpenAI也不会是最后一家打造此类产品的科技巨头。一个关键问题在于,这些决策模型各自的输出与真实场景的匹配程度究竟如何。

阿尔梅达表示,他的公司的护城河在于其为生成具有统计学意义的有效输出而构建的合成数据。

阿尔梅达上周接受TechCrunch采访时表示:“做到又快又便宜其实很容易,你知道的。如果只是想要速度快、成本低,用骰子就行了,对吧?真正的难点在于智能,而我的北极星目标,始终是推动‘每美元智能产出’这条帕累托曲线不断前进。”

仅仅过去几周,这类模型的发展前景已初现端倪,其中一个可能的应用方向,便是对AI智能体进行监控与安全保障。此前OpenAI的智能体在开放互联网上多次出现不当行为,针对这一系列事件,该公司推出的新安全措施之一,便是使用一个独立模型以“较高算力成本”来监测不良行为。

资深网络安全专家、初创公司QueryStory负责人沙波尔·纳吉布扎德认为,像Jev这样的模型有望以低得多的成本实现这一监控目标。

在上周末举行的一场黑客马拉松活动中,他制作了一个演示项目,利用Jev对智能体的每一项操作进行核查,判断其是否符合所分配的任务:对高置信度判定为不良的行为予以拦截,对其他可疑行为标记以供人工审核,其余行为则予以放行。

理论上,此类监控机制原本能够阻止Hugging Face此前发生的那起事件——而且采用Jev进行此类监控的成本仅为2.94美元,相比之下,使用前沿大语言模型的成本则高达372美元。

一个值得关注的发现是,Jev的运行成本足够低廉,可谓能够应用于每一项智能体操作,从而为提升智能体整体可靠性提供一层额外的审核保障。这正是TypeSafe一直希望实现的目标——而如今,OpenAI也看到了其中的价值所在。

Q&A

Q1:OpenAI的决策API是什么?

A:决策API是OpenAI推出的新功能,能为Luna模型提供预定义的选项集合,让模型专注于特定选择,从而在保留图像理解、语言支持等能力的同时大幅提升运行速度。

Q2:决策API和Jev模型有什么关系?

A:决策API提供的功能与TypeSafe AI本月发布的Jev模型十分相似,二者都是基于大语言模型构建的分类器,能够以低成本、高速度输出一组选项的概率结果。

Q3:这类决策模型能用来监控AI智能体吗?

A:可以。有开发者已经用Jev模型核查智能体的每一项操作是否符合任务要求,成本远低于使用前沿大语言模型进行监控,有望提升智能体整体的可靠性与安全性。

TechCrunch - AI