TrueFoundry推出了TrueForge,这是一款开源智能体运行框架,允许开发者使用来自不同提供商的模型构建和运行AI智能体,并将其定位为Anthropic Claude托管智能体的替代方案。

这家总部位于旧金山的企业级AI基础设施初创公司成立于2021年,创始团队中包括前Meta工程师。公司最初专注于机器学习模型部署软件,后逐步扩展至生成式AI基础设施领域。

智能体运行框架是管理AI智能体如何与底层模型及外部工具交互的软件层。Anthropic的Claude托管智能体以托管服务形式在Claude平台上为长期运行的智能体工作负载提供此类功能。

据TrueFoundry介绍,TrueForge可部署在企业自有基础设施上,支持OpenAI和Anthropic的模型以及另外20余款模型。开发者可自带Model Context Protocol(MCP)服务器和API密钥。此外,该公司还提供按用量计费的托管版本。

TrueFoundry表示,TrueForge可将智能体总运营成本降低50%,但其公开的基准测试结果显示,实际节省幅度因模型和所对比框架的不同而有所差异。

在一项包含14个任务的DevRev企业基准测试中,TrueFoundry表示TrueForge与Claude托管智能体在使用Anthropic Opus 4.8模型时均完成了约11项任务。TrueForge每次运行平均花费8.50美元,而Claude托管智能体为11.80美元,约低30%。

当TrueForge改用GLM-5.2时,差距进一步扩大。TrueFoundry表示,该配置每次运行平均仅需2.90美元,而完成的任务数量与使用Opus 4.8的Claude托管智能体基本相当,成本降幅约达75%。

值得注意的是,上述基准测试由TrueFoundry自行开展,结果尚未在更大规模的生产环境中得到独立验证。

Pareekh咨询公司首席执行官Pareekh Jain表示,将智能体运行时与模型提供商分离,可以让企业在保留对周边智能体基础设施控制权的同时,更自由地切换模型。

"TrueForge让企业获得了更强的掌控力,同时降低了对单一供应商的依赖,"Jain说。

他还表示,企业可以将简单任务路由至成本较低或开源模型,而将高要求的工作负载留给更昂贵的模型。这样一来,团队在切换模型时无需重建周边的工具集成和治理体系。

Omdia首席分析师Lian Jye Su认为,这种分离对受监管行业的企业尤为有价值,因为它允许企业在预算管控、访问权限和可观测性方面引入自己的管控机制,而不必完全依赖模型供应商提供的能力。

但这种方式的代价是企业需要自行运维更多技术栈。Su表示,这包括维护运行时环境,并确保其满足相关监管要求。

Jain指出,自托管是否真正更划算,在很大程度上取决于智能体的使用方式。当智能体使用较大的上下文或频繁调用模型和工具时,成本会快速攀升,同时自托管本身也会带来基础设施和监控方面的开销。

Su表示,Token消耗很可能是智能体运营成本中占比最大的部分。因此,当企业能够使用成本更低的开放权重模型,并且已具备运行智能体工作负载所需的基础设施和工程能力时,自托管方案的吸引力将显著提升。

Jain认为,对于持续高频运行的智能体,自托管更有可能实现回报,因为企业有更大的空间在不同模型间灵活调度工作负载,从而充分发挥基础设施价值。

而对于规模较小或工作负载不稳定的场景,托管服务可能仍然更具成本优势,因为服务商已承担了大部分基础设施和运营开销。

智能体运行框架未来或许会发展成为一个独立的基础设施层。

Su认为这一方向是可能的,但目前该技术尚未达到使框架成为完全独立、模型无关层所需的标准化程度。行业需要就运行时如何处理上下文、模型路由和工具使用,以及更广泛的安全与合规要求达成更多共识。

Jain同样预期智能体运行框架将成长为一个独立的基础设施品类,但他认为这一市场不会像容器领域围绕Kubernetes那样高度收敛。他表示,各竞争厂商可能会在运行时之外不断叠加差异化能力。不过,MCP等标准协议或许能让模型和工具在不同平台之间具备更好的可移植性。

Q&A

Q1:TrueForge是什么?和Claude托管智能体有什么区别?

A:TrueForge是TrueFoundry推出的开源智能体运行框架,负责管理AI智能体与底层模型及外部工具之间的交互。与Anthropic Claude托管智能体相比,TrueForge最大的不同在于可部署在企业自有基础设施上,支持OpenAI、Anthropic及另外20余款模型,开发者可自带MCP服务器和API密钥,从而减少对单一供应商的依赖。

Q2:TrueForge真的能降低75%的智能体运营成本吗?

A:根据TrueFoundry自行发布的基准测试,在使用GLM-5.2模型时,TrueForge每次运行成本约为2.90美元,相比Claude托管智能体使用Opus 4.8时的11.80美元,降幅约达75%。但这一结果尚未经过独立第三方在更大规模生产环境中的验证。实际节省幅度还取决于模型选择、上下文大小、调用频率及自托管基础设施成本等多重因素。

Q3:企业自托管智能体框架适合所有场景吗?

A:并不适合所有场景。自托管对持续高频运行、有条件在多模型间灵活调度的企业更有优势。但对于工作负载规模较小或不稳定的场景,托管服务可能仍更划算,因为服务商已承担了大部分基础设施和运营成本。此外,自托管还需要企业具备足够的工程能力来维护运行时环境并满足合规要求。

InfoWorld