十月份,在 Vercel 的 AI 模型路由器上,超过四分之一的请求流向了决策模型,而非大语言模型——这对于一种仅在一个月前才被发明出来的计算智能类型而言,是一个惊人的使用份额。
决策模型是一类不产生输出 Token 的大语言模型;相反,它们经过调优,利用自身的通用智能在预设选项中快速、低成本地做出判断,同时记录对该选择的信心程度。这类模型在生产环境中非常实用,因为在这些场景下,快速决策往往比速度较慢、成本更高的前沿模型所提供的推理过程更为重要。
TypeSafe 公司在发布其 Jev 系列模型后,估值达到 75 亿美元,该系列模型至今仍占据使用量的主导地位(至少从 OpenRouter 等服务可见的指标来看,上周 TypeSafe 的模型处理了超过 15 亿次查询)。
然而,制作一个决策模型并不难,在 Jev 问世后,数十个同类模型相继发布。亚马逊的一名工程师仅用一个周末就做出了一个,很快每家云计算巨头都有了自己的方案。周二,微软首席执行官萨提亚·纳德拉表示,公司将立即在 Azure 上全面推出其决策模型 Microsoft-Decision-1.1。
这股浪潮在生态系统的两端同时上演:英国初创公司 Sqwish 是决策模型 kettei fat 的开发方,该公司今天宣布完成 300 万美元的种子前轮融资。联合创始人 Ushnish Sengupta 和 Federica Freddi 在剑桥读研究生时相识,当 Jev 问世时,他们正在开发小型大语言模型,随后意识到自己的架构可以被改造成强大的决策模型。
数据似乎是打造该类别成功模型的关键——TypeSafe 首席执行官迪奥戈·阿尔梅达告诉 TechCrunch,构建 Jev 最困难的部分在于利用经过统计调整的合成数据,精细校准模型的判断力。Sqwish 同样也在使用合成数据,但其独特之处在于内置了训练后工具,可以利用客户自身的数据来提升模型的判断能力。
“我认为我们之所以不会沦为同质化产品,是因为我们为客户提供了同样的能力……他们可以持续上传自己的生产数据,就像我们训练自己的模型一样,他们的模型也能在自己关心的任务上持续进步,”首席执行官 Ushnish Sengupta 告诉 TechCrunch。
要对决策模型进行排名颇为困难;Sqwish 的 “kettei fat” 模型在部分基准测试中表现不错,但大多数该技术的开发者表示,真正的检验标准在于实际效果:开发者通常可以轻松地将一个模型替换为另一个,并观察其在特定场景下的表现。
“基准测试更像是一种邀请,让大家来试用这个模型,而持续的调优才是他们应该继续选择我们的原因,”Sengupta 说道。
Microsoft-Decision-1.1 模型同样是公司在成本、延迟、智能水平和校准精度之间精心权衡的结果。领导该项目的工程副总裁 Achint Srivastava 也认同,过度关注基准测试是一种误区。
“我们观察到,那些‘刷榜’的模型在真实的企业应用场景中很快就会表现不佳,”Srivastava 在一封邮件中写道。“我们的测试结果凸显出,要在单一模型中同时实现准确性、可靠性、速度和成本效益有多么困难。即便是在反映真实使用场景的‘留出’或未见过的基准测试中进行评估,Microsoft-Decision-1.1 和 Jev 也是少数能在这四个维度上都表现出色的模型。”
对于像 Sqwish 这样的初创公司而言,与云计算巨头和前沿实验室的竞争恰恰是一种机遇。Freddi 预测,未来的系统将会出现所谓的“系统一”智能(如决策模型)与“系统二”智能(如前沿大语言模型)协同工作的局面。
“即便在那样的未来里,‘系统一’或许也只是一个 100 亿到 500 亿美元规模的市场机会,而 OpenAI 正在筹划的 IPO,心里想的可是一万亿、两万亿美元的市值,”她告诉 TechCrunch。“这对我们来说就是全部的重心所在;而对他们来说,这不过是个附带项目罢了。”
