内存架构 关键字列表
AMD:内存而非算力,将成为AI数据中心的下一个瓶颈

AMD:内存而非算力,将成为AI数据中心的下一个瓶颈

AMD近期指出,随着AI模型规模持续扩大、推理需求趋于常态化,传统服务器内存架构的局限性日益凸显,数据的移动与访问效率正成为系统性能和能耗的核心制约因素。AMD力推LPDDR5X进入服务器领域,以提升每瓦性能表现。业界分析师认为,市场正从"一刀切"的DIMM模式转向HBM、LPDDR、SRAM等混合内存架构,但RAS可靠性、可维护性及生态成熟度方面的挑战仍未完全解决。

新存储架构解决AI推理瓶颈问题

新存储架构解决AI推理瓶颈问题

Lightbits Labs推出新架构,解决大规模AI推理中的关键瓶颈:大语言模型内存需求与GPU有限内存容量之间日益增长的不匹配。该公司与ScaleFlux和FarmGPU合作,结合高性能NVMe存储、托管GPU推理基础设施和LightInferra软件,提高AI系统持久化和复用推理生成的键值缓存数据的效率。测试显示,在相同GPU上推理请求可增加三倍,电力和基础设施成本降低65%。

Enfabrica推出弹性AI内存架构提升GPU工作负载效率

Enfabrica推出弹性AI内存架构提升GPU工作负载效率

Enfabrica发布EMFASYS技术,结合以太网RDMA和CXL技术,打造可连接AI GPU服务器计算机架的内存设备,旨在提供弹性内存带宽和容量,减轻GPU高带宽内存负担。该系统通过3.2 Tbps ACF-S SuperNIC交换机连接,支持多端口800GbE连接和144个CXL 2.0通道,可池化高达18TB的DDR5内存,解决AI推理中的内存带宽扩展问题。

Sandisk 分拆后发布新路线图,投资者日会议披露详情

Sandisk 分拆后发布新路线图,投资者日会议披露详情

闪迪即将从西部数据分拆,在投资者日会议上披露了今年晚些时候推出三款新SSD的细节,以及高带宽闪存(HBF)的计划。HBF相当于NAND版本的高带宽内存(HBM)。闪迪展示了最新的3D NAND技术、未来产品路线图和创新技术,以向投资者证明其业务实力和市场前景。

UnifabriX 如何通过技术突破 AI 内存瓶颈

UnifabriX 如何通过技术突破 AI 内存瓶颈

UnifabriX 公司推出基于 CXL 连接的外部 MAX 内存设备,通过创新的内存架构设计,有效解决 AI 领域日益突出的内存带宽瓶颈问题。该方案不仅能显著提升 AI 处理性能,还可大幅降低部署成本,为大规模 AI 模型的训练和部署提供了新的解决思路。