根据Splunk发布的《2026可观测性状态报告》,随着企业部署智能体的速度超过其监控能力,AI成本正变得越来越难以控制。这家由思科收购的数据与可观测性平台为该报告调查了2050名ITOps和工程专业人士。

报告发现,超过半数的受访者表示,由于每一次提示、重新运行和Token都带有各自的成本,他们无法控制AI支出。另有60%的受访者表示,意外的AI相关账单暴涨,加上原本已经偏高的基础成本,给运营带来了压力。

Futurum Group负责CIO与技术买家业务的副总裁兼实践负责人米奇·阿什利通过邮件告诉CIO Dive,AI成本已经从一项固定支出项目转变为随规模扩大而复合增长、且缺乏可见性的可变成本。他表示:"月度报告根本无法管控一个下午之内就可能暴涨的成本。"

AI成本的不可预测性,正促使CIO们实施相应工具来追踪支出,并制定成本管理策略。

阿什利表示:"最有用的工具会将支出追溯到其来源,并在源头管理所消耗的资源。"他说,这类工具将Token和调用与特定的智能体、工作流、团队和追踪记录绑定,并在请求发出之前,在智能体运营层面执行AI财务运营(FinOps)预算阈值和速率限制。

阿什利表示,除了使用工具追踪支出和控制成本外,CIO还应将成本责任分配给启动AI工作负载的用户,在一开始就为该智能体或工作流设定专项预算,并在工作负载出现偏差时进行审查。

阿什利说,将常规请求路由到更小、更廉价的模型,并在合同中写入消费上限,也有助于管理AI成本。

各家厂商正在应对这一AI成本管理挑战。今年8月,谷歌为AI智能体推出了灵活计费选项和成本控制功能,例如设定AI支出的月度上限。甲骨文今年早些时候推出了有限Token套餐,以更好地将智能体定价与业务价值挂钩,亚马逊云科技也预告了一款用于调查成本异常情况的FinOps智能体。

Enterprise Management Associates的一份报告发现,AI还在促使企业转向可观测性工具,以在日益复杂的技术环境中获得更强的可见性。然而,企业同时也在与可观测性工具的泛滥问题作斗争。该咨询机构的数据显示,四分之三的企业IT组织在云、基础设施和网络环境中最多使用12种可观测性工具,这也进一步加剧了不断攀升的AI成本。

阿什利表示,智能体的出现也在改变可观测性工具需要回答的具体问题。可观测性工具应该能够解释智能体的资源消耗、决策循环和系统交互情况,CIO们也会向可观测性厂商追问他们"如何为AI遥测数据定价、采样和保留"。

他表示:"AI工作负载会为每一次提示、工具调用和模型响应生成一条追踪记录,因此可观测性账单会随着模型账单一同攀升。"

Q&A

Q1:企业为什么难以控制AI成本?

A:因为每一次提示、重新运行和Token都会单独产生费用,AI成本已从固定支出变成随规模扩大而复合增长的可变成本,缺乏足够的可见性,导致企业难以提前预判和控制。

Q2:企业可以通过哪些方法来管理AI成本?

A:可以使用能将支出追溯到来源的工具,把Token和调用与具体智能体、工作流绑定并设置预算阈值,同时为AI工作负载分配专项预算和负责人,并将常规请求路由到更便宜的小模型,在合同中设置消费上限。

Q3:哪些厂商已经推出了AI成本管理方案?

A:谷歌推出了灵活计费选项和AI支出月度上限等成本控制功能,甲骨文推出了有限Token套餐以绑定定价与业务价值,亚马逊云科技也预告了用于调查成本异常的FinOps智能体。

CIO DIVE