IBM将llm-d分布式推理框架捐赠给CNCF

IBM Research、红帽和谷歌云在KubeCon欧洲大会上宣布将llm-d作为沙盒项目捐赠给CNCF。llm-d是一个Kubernetes原生的高性能分布式推理框架，专门为解决大规模LLM推理的分布式系统挑战而设计...