随着企业扩大AI智能体的部署规模,谷歌押注闲置基础设施成本可能成为阻碍采用的主要障碍。为应对这一挑战,该公司周四推出了Agent Compute Engine服务,该服务可暂停非活跃状态的智能体,并在需要时恢复运行,同时保留其执行状态。
AI智能体通常需要长时间等待指令、工具响应或人工审批。虽然企业可以通过关闭底层计算资源来降低成本,但重启智能体通常需要重建执行环境并恢复上下文,这会增加延迟。谷歌表示,其新推出的Agent Compute Engine通过将智能体状态保存在硬件隔离的微虚拟机(microVM)中来解决这一矛盾,这些微虚拟机可以按需暂停和恢复。
该公司在一篇博客文章中写道,选择微虚拟机旨在减少传统虚拟机带来的开销,传统虚拟机通常启动时间更长,初始化也需要更多资源。
此外,相较于企业常用于在共享基础设施上运行AI智能体的容器技术,微虚拟机提供了更强的隔离性。
该公司补充道,与共享主机操作系统内核的容器不同,微虚拟机运行各自独立的内核,这为执行AI生成代码或处理不可信输入的智能体提供了更强的隔离边界,从而限制了被攻陷智能体可能造成的影响。
IT咨询公司Kanerika的AI开发主管阿米特·库马尔·杰纳表示,快速暂停和恢复智能体计算环境的能力,至少对于那些状态需要保持数小时甚至数天的长时运行编码和研究类智能体而言,将有助于首席信息官(CIO)节省成本。
Nord-IQ Research首席分析师马诺吉·钱德拉·贾也认同这一观点,他表示,传统云计算并非为长时间运行、需要激活数千次且其余时间处于闲置状态的智能体而设计。
贾补充道,随着智能体从试点阶段发展到数千个规模的部署,使用传统云计算时的闲置算力成本可能成为CIO面临的主要制约因素,因为它会大幅增加成本。
杰纳认为,对开发者而言,这种在暂停和恢复任务时保留智能体状态的能力,同样可以减少维护长时间运行任务所带来的工程开销。
杰纳表示:"这使得开发者无需再自行构建保存-恢复层。大量仅为支撑暂停而存在的代码都可以省去了。"
然而,这项新服务也存在自身的权衡取舍,尤其是供应商锁定、运营复杂性以及不确定的成本节省效果等问题。
Pareekh Consulting首席分析师帕里克·贾恩表示,Agent Compute Engine与谷歌云紧密集成,这可能使企业难以将智能体工作负载迁移到其他云服务商,或在无需重构部分基础设施的情况下跨多个平台运行。
他补充道,这意味着企业也可能会在管理智能体状态、身份和执行环境方面依赖谷歌的方案。
此外,潜在的成本节省效果还取决于不同智能体对计算资源的使用方式。贾表示,对于持续活跃、计算密集型的智能体工作负载,节省效果可能较小。
杰纳同样认为:"CIO理想情况下应该统计有多少智能体的状态会保持超过几分钟的闲置时间,这个数字应该决定他们是否需要关注这项新服务。"
贾表示,该服务的成熟度是企业评估是否采用时需要考虑的另一个因素。Agent Compute Engine目前尚未进入预览阶段,这意味着企业押注的是谷歌的产品路线图,而非经过验证的生产环境性能。
杰纳指出,另一个问题是存储成本可能上升的可能性。
杰纳补充道,由于每个微虚拟机都需要磁盘空间来保留其工作状态,大规模情况下存储数千个持久化的智能体环境可能会大幅增加基础设施账单,这将使财务团队更难预测净节省效果。
该服务背后的理念并非完全新颖。
杰纳表示:"AWS自2025年以来一直在AgentCore中为每个会话运行一个微虚拟机,并在智能体等待时停止计费CPU使用。微软在Foundry中托管的智能体也会在轮次之间暂停,并保留文件系统。"
不过,杰纳补充道,谷歌声称自己的方案比在任务间暂停环境更进一步,ACE的检查点机制能够保留内存和执行状态,使智能体可以从中断处恢复,而无需重建上下文并重新开始执行。
即便如此,开发者在使用检查点功能时可能仍会面临某些问题,尤其是当智能体在与外部系统交互过程中被中断时。
杰纳表示:"如果暂停发生在API调用与其确认之间,智能体恢复运行时将无法确定支付是否已经完成或提交是否已经生效,于是它会尝试重新执行。每一个外部操作都必须保证可以安全地重复执行,而当前大多数智能体代码并非按此原则编写。"
杰纳指出,开发者还可能面临环境漂移和调试方面的挑战。
他表示,随着文件、依赖项和软件版本的变化,长期保持活跃状态数周的智能体环境可能会逐渐偏离其初始配置,这使得漏洞更难复现,环境也更难审计。
他补充道,因此开发者需要设置过期策略,并定期基于全新的基础镜像重建工作区,以保持一致性。
杰纳进一步表示,调试工作也可能变得更加复杂,因为开发者需要检查已暂停的虚拟机,以诊断智能体恢复运行后出现的问题,而针对暂停环境的调试工具目前仍相对不成熟。
