IBM公司与开源项目llm-d的多家贡献者正式发布其分布式人工智能推理框架1.0版本，新增了多项操作控制功能，旨在帮助企业在自有基础设施上可靠地运行大语言模型。
该版本在今明两日于圣何塞举行的PyTorch北美大会开幕前宣布，重点解决随着AI智能体不断生成大量模型请求而出现的问题，包括管理相互竞争的工作负载、在升级过程中保持服务可用性以及提升硬件使用效率。
llm-d专为Kubernetes打造，负责在计算基础设施之间协调模型服务。IBM及其子公司红帽与谷歌公司是该项目的主要维护方。三方去年联合CoreWeave公司与英伟达公司共同创立了这一项目。其他贡献者还包括超威半导体公司、思科系统公司、Hugging Face公司、英特尔公司以及Mistral AI公司。
该项目为希望对推理成本和基础设施选择拥有更多掌控权的组织提供了一种途径，可减少对单一模型供应商、云平台或硬件平台的依赖。
IBM研究院首席科学家、IBM技术与技术社区副总裁兼IBM院士Ruchir Puri在电子邮件中表示："在IBM研究院，我们发现开放的大语言模型和llm-d能够大幅降低计算密集型问题的推理成本，例如在为量子纠错设计硬件的场景中，实现了11.8倍的效率提升。llm-d 1.0通过提供企业从其计算能力中获取更多价值所需的运营就绪能力，进一步扩大了这些成本节约效果。"
该项目聚焦于模型部署之后的运行环节。一个生产级推理服务必须应对不断变化的流量、硬件故障、软件更新以及用户对资源的争用，同时还要保持可接受的响应速度。
1.0版本新增了对多租户服务质量的支持、零停机操作能力以及专为AI智能体定制的服务模式。流量控制和优先级设置旨在防止智能体活动的突发流量压垮那些需要快速响应的服务，例如面向用户的编程助手。
IBM研究院杰出工程师、项目联合创始人兼主要维护者Carlos Costa表示，此次发布"增添了将其作为其他关键服务运行所需的成熟度：稳定的应用程序接口、多个具有竞争优先级的租户共享同一基础设施，以及不会中断运行的升级流程。"
即便工作负载通过同一端点访问模型，其行为模式也可能存在差异。一个智能体可能会发出大量请求，暂停以使用外部工具，随后再返回进行额外的模型调用。
该框架能够在多轮交互中持续将请求导向适当的基础设施，从而增加复用此前已处理上下文的机会。这一点至关重要，因为智能体在完成任务过程中会反复查阅相同的代码、文档、指令和对话历史。
一套路由系统会将请求导向已经保存相关缓存上下文的副本。另一项功能则能在图形处理单元内存、CPU内存和存储设备之间迁移缓存信息，在GPU容量受限时保留可复用的信息。
这些技术此前已经存在，但1.0版本将其与操作控制功能整合在一起，同时还集成了将提示处理与响应生成分离、优化工作批次以及将大型混合专家模型分布到多个加速器上的方法。IBM援引近期一项智能体编程测试数据称，该框架的路由系统捕获了97%的可用缓存复用机会。
在另一项演示中，IBM与红帽表示，他们在自托管基础设施上同时运行了3000个软件工程智能体，成本比通过托管服务运行同一开放模型低5到10倍。
IBM表示，随着智能体为单一任务执行多轮推理、工具调用和修订，这种经济效益将变得更加显著。在每个步骤中重复处理相同的材料会消耗额外的计算资源。
llm-d可与包括vLLM和SGLang在内的推理引擎协同工作，围绕模型服务器提供分布式路由和操作能力。该项目目前作为沙盒项目托管于云原生计算基金会。
红帽首席技术官办公室副总裁Stephen Watt表示："它在企业已经熟悉的运营模式下，提供了企业所需的高性能、可靠且可扩展的分布式推理能力。"
Q&A
Q1：llm-d框架是什么？
A：llm-d是一个开源的分布式AI推理框架，专为Kubernetes打造，由IBM、红帽、谷歌等公司共同维护，帮助企业在自有基础设施上可靠地运行大语言模型。
Q2：llm-d 1.0版本新增了哪些功能？
A：新增了多租户服务质量支持、零停机操作能力、针对AI智能体的服务模式，以及流量控制和优先级设置，可防止智能体突发流量压垮需要快速响应的服务。
Q3：使用llm-d能带来多大的成本节约？
A：IBM与红帽的演示显示，在自托管基础设施上同时运行3000个软件工程智能体，成本比通过托管服务运行同一开放模型低5到10倍。
