AWS于周四推出了Strands Decider 2B,这是其对Jev、Kev、imajev、Laya等决策模型的回应之作。
TypeSafe公司的Jev几周前开启了当前这波决策模型的热潮,各大AI厂商如今纷纷推出自己的版本。
例如,OpenAI周二发布了其Decisions API的有限预览版。但那是一个托管API,其Luna模型专注于解答有预设答案的问题,而AWS发布的则是一个可下载的模型,并附带了用于训练它的数据和脚本。
Strands Decider的工作原理
决策模型放弃了自由形式的文本生成,转而从开发者提供的选项中进行选择,或返回数值评分。这使得它们适用于路由自然语言请求、选择工具、评估输出以及检查提议的行动,而将对话和更复杂的工作留给生成式模型处理。
Strands Decider使用Qwen3.5-2B作为其语言理解的基础模型,AWS称之为"躯干"。团队随后移除了生成文本的语言模型头部,并将其替换为一个用于对所提供答案选项进行评分的指针头部。
该头部的参数刚过百万,而主干网络使用的是秩为16的LoRA(低秩适应)适配器。
限制答案空间可以防止模型凭空捏造一个未被提供的选项,但这并不意味着它总能给出正确答案。不过这只是一个小小的权衡,因为大语言模型本身也并非总是正确的。作为回报,开发者获得了更快的决策速度以及可用于辅助决策的置信度评分。
在智能体行动前进行检查
在AWS基于其开源Strands智能体框架构建的示例中,用户询问天气情况但未说明具体地点,智能体猜测了一个城市并提议调用天气工具。
在该工具运行之前,Decider会检查参数值是否基于对话内容,以及智能体是否拥有足够的信息来继续执行。随后应用程序会让智能体返回,询问用户所指的具体城市。
该检查流程会经过Strands的干预系统,该系统允许开发者选择是继续执行工具调用、拒绝调用、要求人工确认,还是向智能体返回反馈信息。
在这个演示中,Decider在本地运行,而智能体则通过Amazon Bedrock调用其生成式模型。AWS表示,公司也在开发决策模型集成库。
基于开放的Qwen模型构建
与Kev一样,Strands Decider也是基于开放的Qwen模型构建的,这表明当前这类实验在很大程度上依赖于开放权重模型。Kev已经支持本地部署和微调,而AWS此次发布包含了训练数据和脚本,让开发者能够查看具体方案并将其应用于自己的任务中。
与Kev一样,Strands Decider也是基于开放的Qwen模型构建的,这表明当前这类实验在很大程度上依赖于开放权重模型。
AWS表示,公司的重点是在准确性、校准度和延迟之间取得平衡。这里所说的校准度,是指模型的置信度评分与其实际正确率之间的匹配程度。
AWS表示,在JevBench的公开测试集中,Strands Decider在约20亿参数规模的公开模型中排名第二,而在提供完整训练方案的公开模型中排名第一。
AWS还指出,Strands Decider 2B在JevBench的简单难度等级测试中全部回答正确,而这正是其设计用于处理的常规智能体决策类型。
AWS报告称,在Nvidia RTX 3090上,决策耗时低于100毫秒,耗时会随任务复杂度增加而上升。该公司表示,在M3 MacBook上,小型任务的中位耗时约为150毫秒。
AWS此次发布的模型是该架构的第二个主要迭代版本。该公司表示,早期的头部设计性能明显较差。AWS还在代码库中保留了之前每一个迭代版本,以便开发者能够追溯模型的演变过程。
Strands Decider诞生于Strands Labs,这是AWS今年早些时候成立的专注于智能体AI实验性方法的研发部门。此前,该公司还发布了Strands Harness,该工具包封装了运行长周期智能体所需的工具和配套机制。
托管版Decider?
目前仍有待观察的是,AWS是否也会在其云平台上提供这款模型(或其未来版本)的托管版本。混合方案非常适合用于实验和本地运行,但要将基于该模型构建的应用投入生产环境,开发者还会希望看到有托管版本可用。
Q&A
Q1:Strands Decider 2B是什么?
A:Strands Decider 2B是AWS推出的决策模型,是对TypeSafe公司Jev等决策模型的回应。它通过从开发者提供的选项中选择或返回数值评分来辅助智能体做决策,而非生成自由形式文本。
Q2:Strands Decider与OpenAI的Decisions API有什么区别?
A:OpenAI的Decisions API是一个托管API,专注于解答有预设答案的问题;而AWS发布的Strands Decider是一个可下载的模型,并附带了用于训练它的数据和脚本,开发者可以本地部署和微调。
Q3:Strands Decider的运行速度和准确率如何?
A:AWS报告称,在Nvidia RTX 3090上决策耗时低于100毫秒,在M3 MacBook上小型任务中位耗时约150毫秒。在JevBench公开测试集中,该模型在约20亿参数规模的公开模型中排名第二,在提供完整训练方案的公开模型中排名第一。
