AI推理计算将随电力而动，英伟达布局微型数据中心网络

为应对AI数据中心用电需求激增问题，英伟达携手InfraPartners、Prologis及EPRI，计划在美国5家电力公司的变电站旁建设约25座微型数据中心，单座规模为5至20兆瓦。该项目通过动态调度算力，将推理任务路...

IBM将llm-d分布式推理框架捐赠给CNCF

IBM Research、红帽和谷歌云在KubeCon欧洲大会上宣布将llm-d作为沙盒项目捐赠给CNCF。llm-d是一个Kubernetes原生的高性能分布式推理框架，专门为解决大规模LLM推理的分布式系统挑战而设计...