/
开源贡献 关键字列表
IBM将llm-d分布式推理框架捐赠给CNCF
IBM Research、红帽和谷歌云在KubeCon欧洲大会上宣布将llm-d作为沙盒项目捐赠给CNCF。llm-d是一个Kubernetes原生的高性能分布式推理框架，专门为解决大规模LLM推理的分布式系统挑战而设计。该框架提供智能推理调度、前缀缓存感知路由和分层KV缓存卸载等核心功能，支持多种硬件加速器，旨在将AI基础设施从黑盒转变为可复制的云原生微服务蓝图。
白皮书
京公网安备 11010802021500号
