谷歌公司今日推出Gemini Decisions API,这是一款旨在以低成本方式回答用户问题的人工智能服务。
该服务由一款名为Gemini Decision 1的新AI模型提供支持。
传统大语言模型旨在回答范围广泛的各类提示。而Gemini Decision 1的关注点要窄得多:它只能处理三种类型的问题。其优势在于,它能以显著更低的成本回答这些问题。据谷歌介绍,该模型的成本比其入门级的Gemini 3.5 Flash-Lite大语言模型便宜近五倍。
该模型能够回答是非问题、多项选择题,以及要求按用户指定的量表对某项内容进行评分的提示。例如,网络安全团队可以要求该模型按1到10的等级对某个防病毒警报的严重程度进行评分。
Gemini Decision 1的提示包含两部分内容:用户的问题以及这些问题所涉及的数据集。该数据集可包含多达25.6万个Token的文本、音频、图像、视频或上述内容的组合。
大语言模型通常会针对用户问题生成冗长且自由流畅的文本。相比之下,Gemini Decision 1输出的是简洁的答案,例如“是”或“否”。它还会显示一个分数,表明其对特定答案准确性的信心程度。该分数有助于应用程序决定是否采用相应输出结果。
旨在针对简单问题生成简短答案的神经网络被称为决策模型。首款此类模型Jev由一家名为TypeSafe AI公司于9月中旬推出,上线几天内用户数便达到百万。推出三周后,TypeSafe以75亿美元估值完成8.7亿美元融资。
决策模型能够比大语言模型更快地回答其经过优化的特定狭窄问题范围。此外,它们更易于集成到应用程序中。使用AI模型驱动部分功能的应用程序,必须在采用模型输出结果之前检查其是否存在错误,并过滤冗余细节。而决策模型简洁、结构化的响应方式使这两项工作都变得更简单。
谷歌DeepMind产品经理Min Choi和首席科学家Felix Yu在一篇博客文章中写道:“Gemini Decision 1在对选项进行评分时无需逐个Token解码,在多模态输入及最多16K Token的上下文中,模型计算的中位延迟保持在50-100毫秒(端到端延迟为150-250毫秒),且在每次请求处理1到100个问题的范围内,该延迟几乎保持不变。”
谷歌对Gemini Decision 1与Jev以及OpenAI集团PBC上月推出的竞品服务Decisions API进行了对比测试。该搜索巨头表示,在其测试的九项基准测试中,其模型在七项上表现更优。不过,Jev的成本效益略高一筹。
Gemini Decisions API的定价为每100万输入Token收费10美分,谷歌不对输出Token收费。开发者还可通过Google AI Studio(谷歌面向开发者推出的、用于熟悉其模型的服务)提供的有限免费层级使用该算法。
图片来源:谷歌
