Jev引发了不少连锁反应。自AI初创公司TypeSafe在9月中旬推出这款决策模型以来，业内掀起了一波跟进热潮，OpenAI、Perplexity、Cloudflare、亚马逊，以及最近的微软，都相继加入了这一赛道。
可以说，决策模型正当红。
如今，总部位于旧金山的基础模型初创公司Subquadratic也加入了这场竞赛，推出了名为SubQ Snap的决策模型，据称该模型单次请求可处理多达38.4万个文本和图像Token——是Jev每次决策3.2万Token上下文限制的12倍。
该公司在周一发布的一篇博客文章中表示，Snap能够处理10万Token并在约一秒钟内返回决策结果，这可能让AI智能体在处理大型代码库、文档和交互历史时，无需再将信息拆分成更小的片段。
为什么更大的上下文窗口很重要
与生成文本和代码的传统大语言模型不同，决策模型专注于从预定义答案中进行选择。这可能意味着选择AI智能体接下来应使用哪种工具、识别相关文件，或判断某项测试是否通过。
周二，The New Stack报道了Workday如何利用Jev为其Sana AI助手即时构建用户界面，根据员工的提问选择诸如工资单卡片、日期选择器等预构建组件。
归根结底，吸引力在于速度和成本。这类决策在智能体执行过程中频繁出现，将其交由更小、更专用的模型处理，可以减少对昂贵的前沿大语言模型的依赖。
在一次邮件问答中，Subquadratic首席执行官兼联合创始人亚历克斯·惠登承认，Jev的出现对Subquadratic自身进入这一市场产生了影响。
“Snap的开发受到了Jev的启发，因为决策模型与我们的理念高度契合。”
“Snap的开发受到了Jev的启发，因为决策模型与我们的理念高度契合，”惠登向The New Stack表示。“对于某些问题，决策模型可以省去解码的需求。”
不过，惠登认为这项技术的潜力远不止于决策模型目前所扮演的辅助角色，比如评估大语言模型的输出或选择哪个模型来处理某项任务。
“我们看到决策模型存在愿景上的空白，”惠登说。“当决策模型真正能够从前沿大语言模型手中接过工作时，它们才会变得令人兴奋。”
“当决策模型真正能够从前沿大语言模型手中接过工作时，它们才会变得令人兴奋。”
尽管这一领域已略显拥挤，Subquadratic认为，当做出选择所需的信息量超出上下文限制时，现有决策模型就会力不从心。
设想一个编码智能体正尝试修复大型代码库中的一个错误。问题可能源自与报错模块不同的另一个模块，而重要线索可能隐藏在测试文件或文档中。在3.2万Token的窗口限制下，智能体可能不得不舍弃潜在相关的信息，或转而求助于更大的大语言模型。惠登认为，Snap的38.4万Token窗口使其能够同时查看更多的代码库、日志和历史操作记录，再决定下一步行动。
Snap通过Subquadratic稀疏注意力（SSA）架构解决了这一问题，该架构是该公司今年5月首次推出的，旨在降低处理长输入的计算成本。据Subquadratic介绍，其注意力机制的计算需求随上下文长度呈线性增长，而非传统Transformer那样呈二次方增长。惠登认为，无论大型实验室在算力上投入多少，改进底层算法都很重要；否则，他表示，“我们必然会白白浪费掉本可获得的智能提升。”
Subquadratic自身的长上下文基准测试显示，即使处理的信息量增加，Snap仍能保持准确性。在RULER检索基准测试的改编版本中，针对从3.2万到100万Token不等的输入，Snap得分在96.3至99.8之间。在测试跨多文档推理能力的Decision LCR基准测试中，Snap得分74.0，而Jev（以分块方式处理文档）得分为48.0。
惠登澄清说，Snap目前对外公布的38.4万Token上下文限制，是由于公开预览阶段可用计算能力有限而设置的临时限制。该公司已在100万Token规模下测试过该模型，但表示若要公开支持这一长度，需要大约2.6倍的算力。
在较短任务方面，Subquadratic报告称，在Decision Index 0.2.1测试中，Snap得分61.7，Jev得分57.9。在Bespoke Labs的Nimble基准测试中，Snap也以82.9%的准确率领先于Jev的76.0%。
根据Subquadratic的测试，在16项面向企业场景的基准测试中，Snap有13项表现优于Jev，平均得分为67.6，而Jev为61.6。不过，Jev在其中三项测试中表现更优，包括评估智能体是否应调用工具、请求澄清、直接回答或拒绝回答的When2Call测试。
惠登确认，所有已发布的Snap测试结果均为公司内部完成，不过Subquadratic已公开其改编版长上下文评估的代码，以便他人复现这些结果。
Snap目前也未出现在最新的Decision Index排行榜上。惠登表示，该基准测试的作者告诉他，当前版本主要聚焦于开放权重模型，Jev是个例外。最新的0.3.2版本索引还纳入了一些私有测试，这意味着Snap公布的0.2.1版本得分无法与更新的结果直接比较。
至于为何该公司将比较对象聚焦于Jev，惠登表示，Jev对Subquadratic的企业设计合作伙伴而言仍是最具相关性的模型，其次是OpenAI的Decisions API。公司计划未来与更新的竞品进行比较。
“在这一类别中，Jev似乎仍是需要对标的模型。”
“在这一类别中，Jev似乎仍是需要对标的模型，因此能够以较强的普适性超越它，正是我们一直在寻找的前沿信号，”惠登解释道。
更少的“管道工程”，更多的上下文
除了基准测试之外，Subquadratic认为，更大的上下文窗口可以简化开发者构建AI智能体的方式。
目前，开发者通常依赖检索、摘要和分块处理，将大型文档或代码库压缩进较小的上下文窗口中。每一个步骤都涉及决定保留哪些信息，这可能导致遗漏后来被证明很重要的细节。
惠登表示，当所需处理的材料在38.4万Token限制范围内时，Snap可以省去部分这类中间步骤，使智能体能够在单次请求中查看完整的文档或一批相关文件。
不过，他也承认，在处理规模远超此限制的信息集合时，检索仍然是必不可少的。
“检索不会消失——企业的数据语料库规模远超38.4万Token，仍然需要一种方法将正确的材料引入窗口，”惠登指出。“但现在窗口已经足够大，检索可以变得更粗放，直接引入完整文档或模块，而不必费力裁剪片段。这消除了许多脆弱环节。”
Snap目前处于公开预览阶段，定价为每百万输入Token 0.05美元，输出不收费。这意味着处理10万Token的成本约为半美分，而使用完整38.4万Token窗口的一次请求成本约为两美分。
惠登解释说，这一定价反映了一个专注于选择答案、而非生成冗长回复的模型所带来的计算需求。
“我们是按照实际成本所在之处来定价的。”
“我们是按照实际成本所在之处来定价的，”惠登说。“决策模型不生成文本，它读取输入内容，并为每个允许的答案返回一个概率，因此几乎所有算力都用在了读取上，而生成输出对我们而言几乎不产生成本。”
（Subquadratic）迄今为止的故事
Subquadratic于今年5月结束隐身状态并正式亮相，获得2900万美元种子轮融资，据报道估值达5亿美元。这家初创公司此前名为Aldea，由贾斯汀·丹格尔和惠登共同创立，惠登曾是Meta的一名工程师，并担任过Tribe AI的生成式AI负责人。几个月前，惠登从丹格尔手中接任首席执行官一职，此前他担任首席技术官。丹格尔现任董事长。
正如The New Stack在其发布时所报道的那样，Subquadratic的首款模型SubQ凭借宣称的1200万Token上下文窗口，以及计算效率方面的大幅提升，引发了业界关注。
今年6月，该公司为其早期的SubQ 1.1 Small模型发布了更详细的基准测试结果，其中部分结果由数据公司Appen进行了独立验证。在7月接受The New Stack采访时，惠登透露，Subquadratic当时已经在研究完全摒弃注意力机制的架构。
如今，Snap建立在该公司现有稀疏注意力研究的基础之上，将其长上下文方面的雄心带入了日益拥挤的决策模型市场。
就目前而言，Snap所宣称的性能优势仍主要基于Subquadratic自身的基准测试结果。独立测试将揭示其更大的上下文窗口是否真的能带来更优的决策。
