在AI基础设施领域,首token生成时间(TTFT)是塑造硬件构建方式、软件优化方向以及企业算力采购决策的关键指标之一。
在圣何塞举办的OCP全球峰会上,SK海力士高级副总裁Hoshik Kim介绍了以内存为中心的AI机架级系统(MARS),这是一种旨在实现计算与内存资源无缝协同的解耦架构。Kim指出,传统以处理器为中心的架构存在严重的结构性限制,例如无法共享的闲置内存,以及扩展性僵化——仅为扩充内存就必须购买整台服务器节点。
为解决这些限制,MARS将内存从传统CPU/GPU的约束中解耦出来,建立起专用的大规模内存池,从而将基础设施效率的衡量方式从单服务器内存余量转变为资源池层级的效率。为展示其实际性能提升效果,SK海力士将MARS应用于多轮对话式智能体AI推理服务。该系统在共享内存系统中存储并消耗持续增长的键值(KV)缓存,而不会耗尽GPU内存和存储资源,最终实现了首token生成时间3至5倍的提升。
除MARS之外,该公司还介绍了其在高带宽闪存(HBF)方面的进展——这是一项符合OCP标准的技术,能够将存储容量扩展高达14倍。
Susana Schwartz
技术编辑
RCRTech
AI基础设施要闻
德国电信谈AI上行链路:德国电信负责移动网络资本支出的高级副总裁兼候任首席财务官Dhananjay Mirchandani表示,他预计AI相关的移动上行链路不会需要增量的无线接入网投资。
数据中心内部的连接:诺基亚指出,高性能XPU的效能不仅取决于计算能力,网络同样会影响分布式处理、模型训练以及计算资源的性能表现。
AI要闻速览
探讨Token经济学:福布斯文章《两位CIO如何衡量AI的真实投资回报率》中,CIO保罗·贝斯威克和里希·特里帕蒂谈到了企业AI投资回报率问题,以及在云模型隐藏成本逐渐显现的情况下,他们必须做出的"自建还是外购"决策。
诺基亚多模式PON灵活方案:诺基亚推出了一款50G/25G/10G PON解决方案,旨在加速支持AI的光纤宽带建设。该公司表示,这是业内首款支持每个端口均可配置GPON、10G、25G、50G PON的16端口线卡解决方案。
Anthropic警告AI自我复制风险:Anthropic近日警告称,小型AI模型可能在几个月内就具备在联网家用设备(物联网)间自我复制的能力,而无需依赖数据中心。
俄乌数据中心冲突?:据报道,俄罗斯在袭击乌克兰数据中心及电信基础设施时,并未预料到乌克兰无人机对其三家最大的、由Yandex所有的数据中心发起袭击会造成大范围断电。
伊朗威胁美方基础设施:伊朗安全负责人穆赫森·雷扎伊发出警告,称如果美国继续袭击伊朗民用设施,波斯湾海底电缆、数据中心及AI设施可能会遭到攻击。【政治与军事内容】
RCR活动
行业资源
报告:非地面网络(NTN)发展动态——标准演进与服务扩展
资金投入步伐超前于准备程度
TikTok意外获得的"主权科技"优势
AI基础设施经济学
我们正处于AI驱动的"随需招聘"时代(这种状态会随时间趋于平衡),还是正处于对疫情期间过度招聘的纠偏阶段(这种纠偏将不可逆转)?
Q&A
Q1:MARS架构是什么?它解决了什么问题?
A:MARS是SK海力士推出的以内存为中心的AI机架级系统,是一种解耦架构,能够协调计算与内存资源。它解决了传统处理器为中心架构中内存无法共享、扩展性僵化等结构性限制问题,将内存从CPU/GPU约束中解耦,建立专用大规模内存池。
Q2:MARS技术能带来多大的性能提升?
A:SK海力士将MARS应用于多轮对话式智能体AI推理服务测试中,系统在共享内存中存储和消耗持续增长的键值缓存,而不会耗尽GPU内存和存储,最终实现了首token生成时间(TTFT)3至5倍的提升。
Q3:高带宽闪存(HBF)技术有什么特点?
A:高带宽闪存是SK海力士介绍的一项符合OCP标准的技术,其核心特点是能够将存储容量扩展高达14倍,为AI基础设施提供更大规模的存储能力支持。
