llm-d 1.0发布：开源AI推理迈向生产级运营新阶段-AI基础设施-至顶网

今天在PyTorch北美大会上，llm-d项目贡献者正式宣布推出llm-d 1.0版本，这是开源AI基础设施领域的一个重要里程碑。作为一个基于Kubernetes的分布式推理服务网络，llm-d可以在任何云平台、任何加速器上为任意模型部署推理堆栈。

此次发布标志着llm-d已经超越了单纯展示单项性能技术的阶段，开始具备支撑生产环境实际需求的能力：在不断增长的需求下保持服务优先级的平衡，并在多种工作负载条件下维持持续的效率表现。随着推理成本不断上升，llm-d旨在帮助企业将模型部署转为自主可控，从而实现AI投资回报。

这项工作是在一个日益壮大的开源社区支持下完成的，该社区包括硬件供应商、模型开发者、云平台和企业用户。作为llm-d的首要维护者，红帽、IBM和谷歌共同帮助将先进的推理技术转化为企业能够大规模运营的协同系统。这三家公司去年联合CoreWeave和英伟达共同创立了llm-d项目，此后AMD、思科、Hugging Face、英特尔、Lambda和Mistral AI等行业领导者也相继加入成为贡献者。

最终成果是为那些希望获得顶级推理性能、同时又不想完全依赖单一专有模型提供商、云平台或硬件平台的组织，提供了一个供应商中立的替代方案。

“llm-d已经准备好投入第二天的运营阶段，”IBM研究院杰出工程师、llm-d联合创始人兼首要维护者卡洛斯·科斯塔（Carlos Costa）表示。“llm-d一直在为生产工作负载提供最先进的推理性能。1.0版本增加的是像运营其他关键服务一样运营它的成熟度：稳定的API、多个租户在同一基础设施上共享并处理相互竞争的优先级、以及不中断运营的升级能力。这正是我们打造llm-d 1.0的目标。”

完整的生产堆栈

自llm-d推出以来，该项目一直专注于五项重要的AI推理改进方法：前缀缓存感知路由，将请求引导至可能已经持有其共享上下文的基础设施；KV缓存卸载，通过在GPU、CPU和存储资源之间转移缓存信息，延长其有效使用期；批量推理优化，将工作分组以便基础设施能够更高效地处理；预填充/解码分离，将读取提示词的工作与生成响应的工作分开；以及广泛的专家并行机制，将大型混合专家模型分布到众多加速器上。

这些理念并非1.0版本的新内容。真正新增的是围绕这些技术的集成水平和运营成熟度。

在1.0版本中，llm-d已经发展成为一个能够支撑第二天运营的堆栈：即AI服务部署后必须发生的一切工作。这包括服务具有相互竞争优先级的工作负载、管理不同的性能需求、保持效率、优先处理重要服务，以及随时间保持系统的可靠性。基准测试可以证明某一项功能能够提升吞吐量，但生产系统必须在流量变化、硬件故障、软件更新或不同用户争用相同资源的情况下，持续保持这种性能表现。llm-d 1.0的核心正是要让这些单独的技术在这些不太可预测的条件下协同工作。

同一端点，不同种类的工作

在已经使llm-d成为强大的分布式推理工具的核心技术创新基础上，llm-d 1.0增强了对多租户服务质量、零停机运营以及智能体感知服务的支持，以便在常见的第二天生产运营中保持持续的性能表现。企业AI服务可能通过同一端点同时接收来自人类用户和自主智能体的请求，但这些工作负载的行为方式各不相同。使用编程助手的人员期望快速获得答案。而智能体可能会发送大量突发请求，在使用工具时暂停，随后再返回进行下一轮模型调用。

借助流量控制机制，llm-d 1.0能够管理相互竞争的优先级，无论工作负载是共享同一硬件，还是跨越多种加速器混合部署。流量控制、公平性和优先级设置有助于防止突发性工作负载压垮对延迟敏感的服务。在高需求压力下，系统可以更审慎地决定哪些请求应优先获得资源。请求还可以在多轮交互中保持固定在适当的基础设施上，从而保持其前缀缓存的“热度”，增加之前处理过的上下文被重复利用而非重新计算的可能性。

这对对话式助手而言意义重大，但对智能体来说尤为重要。智能体在执行任务过程中经常需要反复访问相同的代码、文档、指令和对话历史。前缀缓存感知路由能够将每一轮请求引导至已经持有相关上下文的副本，而KV缓存卸载则有助于在GPU内存受限时保留更多可重复使用的信息。这正是生产就绪状态在实践中的体现：通过理解到达模型的工作内容并相应地管理基础设施，更高效、更具成本效益地服务模型。

以更优基础设施提升AI投资回报

这种对生产环境的关注直接关联到AI的经济性问题。随着AI融入日常业务运营，推理已成为一项经常性支出。智能体系统可能会增加这项支出，因为单个任务可能涉及多轮推理、工具使用、评估和修订。如果每一步都需要模型重新读取相同的材料，那么企业就在为系统已经完成过的工作重复付费。

在最近一次针对智能体编程工作负载的测试中，llm-d的前缀感知路由器捕获了97%的可用缓存复用率。通过避免重复计算并更高效地利用现有硬件，诸如此类的技术可以降低大规模服务AI的成本。在另一个最新的演示案例中，IBM和红帽在自主托管的部署环境中同时运行了3000个软件工程智能体，其成本仅为以服务形式使用同一开放模型实际价格的五分之一到十分之一。

当组织运营自己的基础设施时，该基础设施就成为可以被管理的成本结构的一部分。通过将开放权重模型与开放服务堆栈相结合，llm-d为组织提供了另一种选择，用以控制AI消耗、基础设施支出与业务价值之间的关系。

连接开源AI生态系统

llm-d可以与vLLM或SGLang等推理引擎配合使用，增加将模型服务器转化为生产服务所需的分布式路由和运营能力。

这也使llm-d在更广泛的开源生态系统中扮演了重要角色。PyTorch与开发AI模型和应用程序的人员紧密相关。而托管llm-d沙盒项目的云原生计算基金会（CNCF）则更专注于生产环境中系统的部署和运营。llm-d项目正是连接这两个世界的桥梁。

“llm-d通过将Kubernetes原生编排直接引入vLLM和现代推理引擎，统一了PyTorch和CNCF两大生态系统，”红帽首席技术官办公室副总裁斯蒂芬·瓦特（Stephen Watt）表示。“它在企业已经熟悉的运营模式下，提供了企业所需的具备可靠性和可扩展性的高性能分布式推理能力。”

IBM对llm-d的贡献体现了其一贯的理念：将能够改善计算的想法转化为组织在现实世界中可以使用的开放技术。

借助llm-d 1.0，这项工作帮助打造出一个不仅性能优异、而且在AI成为关键基础设施时能够持续保持性能的推理堆栈。开源AI推理已经准备好在生产环境中被运营、治理和优化。

Q&A

Q1：llm-d 1.0是什么？

A：llm-d 1.0是一个基于Kubernetes的开源分布式AI推理服务网络的重大版本更新，可以在任何云平台、任何加速器上为任意模型部署推理堆栈，支持生产级的第二天运营。

Q2：llm-d 1.0能为企业带来哪些成本优势？

A：在一次测试中，llm-d的前缀感知路由器捕获了97%的可用缓存复用率；IBM和红帽曾用自主托管部署同时运行3000个软件工程智能体，成本仅为云服务方式的五分之一到十分之一。