AI公司竞相开发决策模型以规避幻觉问题,TypeSafe AI推出的Jev模型率先发起了一场打造更廉价、更快速、更可靠模型的行动。

9月15日,一家名为TypeSafe AI的初创公司发布了一款名为Jev的新型AI模型。该公司围绕Jev提出的大胆颠覆性主张引发了广泛关注:公司宣称Jev(被称为"系统一模型")不仅更便宜、更快速,而且不会产生幻觉。

TypeSafe AI的这一营销策略,显然是在向其他AI公司及其大语言模型发起挑战——尽管这些大语言模型在数学和编程方面能力出众,但它们因成本高昂以及容易"产生幻觉"(输出事实错误的回复)而饱受诟病。这家初创公司确实吸引了大量关注和投资。该公司近期完成了8.7亿美元的融资,估值达到75亿美元。

但Jev成功最有力的证明,或许是它已经催生的众多仿效者。Cloudflare、亚马逊、OpenAI和微软迅速推出了模仿Jev能力的"决策模型"。初创公司、学术研究人员和独立开发者也陆续发布了数十款类似模型。

"我不得不承认Jev的功劳,"独立开发者马特·马斯特拉奇(Matt Mastracci)说道,他已经训练并发布了多款决策模型,包括Djev,Cloudflare曾将其列为自身决策模型的灵感来源之一。"它确实把决策模型推到了聚光灯下。短短六七周内,我们就看到了数十款模型问世。"

Jev的延迟与算力优势

大多数AI研究人员会将Jev称为决策模型或判定模型。TypeSafe AI将Jev称为"系统一模型"的做法,源自心理学家丹尼尔·卡尼曼在其著作《思考,快与慢》中推广的一种认知理论。书中,卡尼曼将认知过程划分为两类:快速、本能的思维(系统一)和缓慢、审慎的思维(系统二)。

TypeSafe AI认为,现代大语言模型提供的是后者,但速度太慢,无法实现前者。该公司声称Jev能够提供70至500毫秒的端到端响应延迟。相比之下,大语言模型通常至少需要几秒钟才能给出回复,而更复杂的任务(比如从零编写软件代码)可能需要耗费数小时。

独立测试结果也印证了TypeSafe AI的说法。卡内基梅隆大学信息系统教授拉梅亚·克里希南(Ramayya Krishnan)与多位同事合著的一篇预印本论文发现,在包括RewardBench和JudgeBench等多项用于衡量决策准确性的基准测试中,Jev的中位延迟为150毫秒。而OpenAI当时最强大的模型GPT-6 Astra的中位延迟为1.89秒。

更快的响应往往意味着更低的成本,因为它所需的计算时间更少,这一点也体现在TypeSafe AI的定价策略上。该初创公司对输入Token的收费为每百万Token 0.042美元,输出Token则完全免费。相比之下,ChatGPT对GPT-6 Astra的收费为每百万输入Token 10美元,每百万输出Token 50美元。即便是专为快速、低成本推理设计的GPT-6 Luna变体模型,其费用也达到每百万输入Token 0.10美元、每百万输出Token 0.50美元。

马斯特拉奇表示,更低的延迟和成本为处理当前大语言模型无法应对的任务开辟了新的可能性。"可以想象一下内容审核场景,比如审核海量社交媒体帖子,或是极其活跃的聊天室。"

Cloudflare产品团队经理米歇尔·陈(Michelle Chen)同样对决策模型的应用前景持乐观态度(Cloudflare也已发布了自己的决策模型,包括Clef和Claric)。"你或许可以将典型大语言模型任务中80%的工作量,转移给速度更快、成本更低的系统一模型来处理。"

TypeSafe AI对于Jev如何实现这种速度优势的细节披露甚少,但Jev的开放权重仿效者们提供了更多透明信息。

以Cloudflare的Clef为例,这是一款可在Hugging Face上免费下载的开放权重决策模型。"对于大语言模型而言,在生成输出Token时,它会查看之前所有的Token,并预测下一个输出Token,"陈解释道。这一过程按顺序逐个Token进行,直到遇到结束Token。"而我们的决策模型不会这样做。它们只需进行一次前向传播,对所有输入内容进行一次读取,然后生成一个输出结果。这就是它速度更快的原因。"

决策模型如何实现任务泛化

基于大语言模型构建的决策模型,例如基于阿里巴巴Qwen大语言模型打造的Clef,仍然保留了大语言模型的神经元结构和基于Transformer的模型架构。它们依然以Token作为输入和输出的基本单位。

不过,模型中负责将这些Token转化为文本的部分已经被改造,以约束输出结果。复旦大学教授魏忠钰(Zhongyu Wei)表示:"Jev只能用预先定义好的结构化格式来回答问题。"魏忠钰也是一项决策模型基准测试研究的合著者之一,该研究同时推出了一款开放权重的替代模型SII-Decision。"我们给它一个问题以及A、B、C等选项,它必须从这些选项中进行选择,并在给出选择的同时返回相应的概率值。"

从某种意义上说,决策模型是对分类器的一种回归——顾名思义,这类模型学习将数据归入不同的类别。它们被广泛应用于垃圾邮件过滤、人脸检测等多种任务中。"这类模型并不是什么新鲜事物,"陈说道。"这几乎就像是一次重新包装。"

但决策模型相较于以往的分类器,具备一项关键升级:泛化能力。

马斯特拉奇解释说,传统分类器是通过特定领域的训练而创建的。而决策模型则保留了大语言模型的通用智能,这使得它们能够适用于多种场景。"你可以直接拿来即用,把它应用到你的问题上,它就能发挥作用,"马斯特拉奇说道。

Cloudflare正在将这一优势付诸实践。陈表示,在决策模型出现之前,想要使用分类器模型的团队必须"收集大量数据,组建机器学习团队,并针对特定任务进行微调"。而决策模型消除了这一需求,因此一款决策模型就可以应用于多个领域。相关案例包括:在Cloudflare的GitHub文档仓库中标记垃圾拉取请求、拦截垃圾邮件和钓鱼邮件、识别钓鱼域名、检测针对大语言模型的提示注入攻击,以及阅读有关互联网骨干网中断的邮件以判断其是否会影响Cloudflare的服务。

决策模型十分适合对邮件、消息或文档等数据进行快速判断。

决策模型真的能杜绝幻觉吗?

在编程领域,"类型安全"的编程语言经过专门设计,能够在程序运行前就拒绝混合不兼容数据类型的操作(例如将数字与字符串相加),而不是等到运行后才产生错误结果。决策模型与之类似,它们能够防止模型生成意料之外的回复。TypeSafe AI的公司名称本身就将类型安全编程与决策模型联系起来,这是其营销策略的一部分,并由此提出了一个令人惊讶的主张:Jev永远不会产生幻觉。

严格来说,这一说法是成立的。大语言模型产生幻觉的原因在于,它们需要在庞大的词汇可能性范围内反复计算Token的概率,并输出大量Token。这就给概率较低的Token留下了带偏回复方向的空间,也可能导致模型给出的Token虽然基于训练数据来看概率较高,但在回复的具体语境中却并不正确。相比之下,决策模型仅在预先设定的可能性范围内计算概率,并选择概率最高的那个作为结果。这就从根本上消除了幻觉问题。

然而,卡内基梅隆大学的克里希南提醒道,"消除输出结果中的幻觉,并不等同于消除决策过程中的错误。"他和合著者们对Jev进行了测试,要求它判断问题答案的正确性。当判断可以通过直接阅读提示内容轻松得出时,Jev表现良好,但当判断需要涉及数学运算或逻辑谜题时,其表现则明显下滑。

魏忠钰及其合著者在自己的研究中也报告了类似的结果。他们发现,在涉及文档理解的问题上,最优秀的决策模型准确率能够略微超过大语言模型;在涉及工具使用的问题上(例如为完成用户任务而选择正确的软件工具),其得分则与大语言模型相近。然而,当问题涉及需要专业领域知识的场景,例如医学、金融和法律领域,决策模型的表现就会落后。

"我认为推理能力是一个关键因素,"魏忠钰说道。推理能力使大语言模型能够在给出最终答案之前,先对回复内容进行一番斟酌。不过魏忠钰也补充说,推理能力本身并不能解释所有情况下存在的领域差距,因为有些大语言模型即便不进行推理也表现良好。魏忠钰表示,训练决策模型所采用的方法也是一个影响因素,他们在训练SII-Decision时就采用了专门针对决策任务的训练方法。

然而,决策模型与大语言模型并非必然是竞争对手。克里希南及其同事还测试了将Jev给出的低置信度答案交由GPT-6进行进一步处理的方案。两种模型结合使用的准确率略微超过了单独使用GPT-6的效果,而且成本仅为后者的41%。

魏忠钰认为,这种"混合架构"将会变得普遍。"决策模型可以调用大语言模型来给出更详细的解释,而大语言模型也可以调用决策模型来进行快速判断。我认为这种方式非常灵活。"

Spectrum