/
分布式推理 关键字列表
AI推理计算将随电力而动，英伟达布局微型数据中心网络
为应对AI数据中心用电需求激增问题，英伟达携手InfraPartners、Prologis及EPRI，计划在美国5家电力公司的变电站旁建设约25座微型数据中心，单座规模为5至20兆瓦。该项目通过动态调度算力，将推理任务路由至有富余电力的变电站，实现灵活用电。美国现有5.5万座变电站，若加以利用，可释放大量闲置电力容量，有望成为缓解数据中心电力短缺的新路径。
IBM将llm-d分布式推理框架捐赠给CNCF
IBM Research、红帽和谷歌云在KubeCon欧洲大会上宣布将llm-d作为沙盒项目捐赠给CNCF。llm-d是一个Kubernetes原生的高性能分布式推理框架，专门为解决大规模LLM推理的分布式系统挑战而设计。该框架提供智能推理调度、前缀缓存感知路由和分层KV缓存卸载等核心功能，支持多种硬件加速器，旨在将AI基础设施从黑盒转变为可复制的云原生微服务蓝图。
白皮书
京公网安备 11010802021500号
