推理时代到来，AI数据中心如何应对内存扩展挑战

随着AI工作负载从训练转向推理，数据中心面临新的基础设施挑战。推理阶段需要持久化存储键值缓存、嵌入向量和会话上下文等数据，内存需求随用户活动而非模型大小增长。传统计算与内存紧耦合架构导致资源浪费和成本攀升。CXL（计算快...

热点丨内存厂商重大利好，六巨头大涨221%

三星、SK海力士和美光公司正调整晶圆产能以把握生成式AI技术带来的HBM市场机遇。HBM市场预计将从2022年的约27亿美元增长到2024年的约140亿美元。DRAM和NAND闪存芯片价格呈上涨趋势，预计2024年全球D...