2026-06-17
推理时代到来,AI数据中心如何应对内存扩展挑战
随着AI工作负载从训练转向推理,数据中心面临新的基础设施挑战。推理阶段需要持久化存储键值缓存、嵌入向量和会话上下文等数据,内存需求随用户活动而非模型大小增长。传统计算与内存紧耦合架构导致资源浪费和成本攀升。CXL(计算快...
随着AI工作负载从训练转向推理,数据中心面临新的基础设施挑战。推理阶段需要持久化存储键值缓存、嵌入向量和会话上下文等数据,内存需求随用户活动而非模型大小增长。传统计算与内存紧耦合架构导致资源浪费和成本攀升。CXL(计算快...
AMD近期指出,随着AI模型规模持续扩大、推理需求趋于常态化,传统服务器内存架构的局限性日益凸显,数据的移动与访问效率正成为系统性能和能耗的核心制约因素。AMD力推LPDDR5X进入服务器领域,以提升每瓦性能表现。业界分...
Lightbits Labs推出新架构,解决大规模AI推理中的关键瓶颈:大语言模型内存需求与GPU有限内存容量之间日益增长的不匹配。该公司与ScaleFlux和FarmGPU合作,结合高性能NVMe存储、托管GPU推理基...
Enfabrica发布EMFASYS技术,结合以太网RDMA和CXL技术,打造可连接AI GPU服务器计算机架的内存设备,旨在提供弹性内存带宽和容量,减轻GPU高带宽内存负担。该系统通过3.2 Tbps ACF-S Su...
闪迪即将从西部数据分拆,在投资者日会议上披露了今年晚些时候推出三款新SSD的细节,以及高带宽闪存(HBF)的计划。HBF相当于NAND版本的高带宽内存(HBM)。闪迪展示了最新的3D NAND技术、未来产品路线图和创新技...
UnifabriX 公司推出基于 CXL 连接的外部 MAX 内存设备,通过创新的内存架构设计,有效解决 AI 领域日益突出的内存带宽瓶颈问题。该方案不仅能显著提升 AI 处理性能,还可大幅降低部署成本,为大规模 AI ...