谷歌近日发布 Gemini Decisions API,为开发者提供一种在 AI 应用中处理常规决策的方式,且无需生成文本回复。此举发生在 OpenAI 推出竞品服务数周之后。

该 API 由谷歌全新的 Gemini Decision 1 模型驱动,支持开发者在单次请求中评估多达 1000 个问题。与逐个 Token 生成回复的传统生成式 AI 模型不同,该系统会为指定选项分配概率,使应用程序能够在无需等待生成答案的情况下做出决策。

开发者可以使用该 API 检查某个条件是否满足,或从预设选项集中选择一项。它还能根据评分标准对输入内容进行打分,使应用程序能够评估输入内容满足特定标准的程度。

该 API 支持包括图像、音频和视频的多模态输入,上下文窗口可达 256000 个 Token。开发者可以利用生成的置信度分数,决定应用程序是自动执行操作,还是将不确定的情况转交人工进一步审核。

谷歌表示,在涉及最多 16000 个 Token 上下文的测试中,该 API 的端到端延迟为 150 至 250 毫秒,且在处理 1 到 100 个问题时性能保持相对稳定。

该公司将 API 的定价设定为每百万输入 Token 0.10 美元,不额外收取输出 Token 费用。谷歌在公告中表示:“无论您评估多少个问题,共享的输入内容只会按每次请求计费一次(每个问题仅额外产生其自身的指令和评判标准 Token)。”

谷歌已经在其 Gemini Notebook 产品中使用该技术,根据每个请求的复杂程度,将查询路由到不同的 AI 模型。据该公司介绍,这种方法将日常查询的延迟降低了多达 40%。

谷歌表示,该公司还在搜索业务中使用该 API 来检测涉及模型上下文协议(MCP)工具的对抗性行为,将其应用范围从模型路由扩展到与安全相关的决策。

该 API 目前可通过 Google AI Studio 使用,与开发者框架的集成也正在逐步推出。对谷歌云上 Gemini 的支持预计将在之后提供,不过谷歌尚未公布具体发布时间。

专用决策模型除了在 AI 系统之间路由请求之外,还可能找到更多应用场景。

Omdia 首席分析师 Lian Jye Su 表示:“该模型非常擅长从非结构化、动态的输入中生成决策。”他指出政策制定和风险评估是潜在的应用方向,另外信用评分也是其中之一。

OpenAI 的 Decisions API 于 10 月份正式上线,支持单次请求处理多达 400 个问题,而谷歌的上限为 1000 个问题。

两家公司在标准费率下均按每百万输入 Token 0.10 美元收费,且均不收取输出 Token 费用。OpenAI 还为缓存输入提供折扣定价,这可能会影响那些需要重复处理相同上下文的应用的成本。

相比 OpenAI 的 Decisions API,谷歌的产品支持更广泛的多模态输入类型,包括音频和视频。

Su 表示,两款产品之间的直接比较或许不那么重要,更重要的是每款产品与企业现有开发环境的契合程度。他认为,开发者应超越已公布的基准测试,评估这些系统在实际运行条件下做出决策的可靠程度。

Su 表示:“真正的益处在于减少误判、提升决策质量。”

Su 警告说,输入数据的变化或被蓄意操纵的输入,都可能导致决策类 API 产生错误判断。即便 API 返回了置信度分数,这本身也不能证明其评估结果是可信的。

Su 表示:“所有决策过程都必须高度依赖上下文,并由一个可信、安全的上下文层提供支持。”

他建议将决策模型连接到包含历史交易记录和既定业务政策的数据库。这将有助于确保模型根据相关的组织信息来评估请求,而不是完全依赖即时输入内容。

Su 还表示,谷歌需要在满足企业对数据留存和数据主权要求的同时,不削弱该服务在成本和性能方面的优势。

Kadence International 高级副总裁 Tulika Sheel 提出了一个相关的担忧,即随着企业将 AI 决策能力融入自主工作流程,人类问责机制该如何建立。Sheel 表示:“随着 AI 智能体变得更加自主,企业将需要为代表用户所做出的决策和采取的行动明确问责机制。”

InfoWorld