英伟达PODs:缩短"首个Token生成时间"

数据中心建设的延期意味着生成AI Token所需时间的延长。英伟达希望通过其全新的DSX PODs为延迟的实体建设提供一种临时解决方案,该产品已于今日在柏林举行的GTC大会上发布。

该单元——即单个Vera Rubin DSX POD——包含7个液冷计算机架,机架间通过11英里(17公里)长的Spectrum-X线缆及NVLink交换技术相互连接。机架间的电力传输以及热液冷却管理将由DSX MaxLPS和DSX OSS负责。

英伟达表示,这款集装箱大小的单元能够将部署周期从平均6个月缩短至14天,从而在实体建筑建设所需的时间内大幅提升Token生成能力。

其主要目标是最大化"每瓦Token数",并恢复闲置的数据中心容量。DSX PODs提供了闭环液冷和干式冷却器的参考设计,英伟达表示,在2吉瓦部署规模下,这可能带来每天节省5400万升用水的潜力。

此外,DSX MaxLPS软件帮助运营商在生成相同数量Token的情况下减少高达30%的电力消耗,早期采用者包括CoreWeave、Firmus、谷歌云IREN、Lambda、Nebius、Nscale和Sharon AI。

英伟达并非首个提出"模块化"理念的公司,Crusoe、戴尔、HPE、联想、Vertiv等公司此前已推出预集成的"PODs"产品,但英伟达的版本更像是一套用于标准化合作伙伴构建方案的生态系统参考蓝图,而非严格意义上的专有"集装箱"产品。这使得施耐德电气或Vertiv等基础设施厂商能够按照DSX蓝图构建单元,同时使用自有的冷却分配单元(CDU)、电力撬装设备和物理容器。

Susana Schwartz

技术编辑

RCRTech

AI基础设施重点资讯

6G论坛——是德科技观点:是德科技的Stephen Douglas在RCR 6G论坛上谈到了AI原生控制、集成传感与通信、与计算的更紧密融合,以及对非地面网络的原生支持。

6G论坛——AT&T、英国电信、Orange观点:这些公司的高管讨论了新兴AI应用及集成传感与通信(ISAC)可能如何恰恰要求他们原本想要避免的架构变革。

AI今日速览:你需要知道的事

SpaceX:SpaceX向美国证券交易委员会提交的第三季度财报显示,营收同比增长161%,达到146亿美元,净利润为44.4亿美元。其星链业务板块实现了76亿美元的爆发式营收增长。

英伟达扩大制造合作:英伟达将与安靠(Amkor)、揖斐电(IBIDEN)、京元电子、三星电机、京瓷电子(Siliconware Precision Industries)及欣兴电子(Unimicron)展开合作,以扩大关键制造产能。

康宁的光子学布局:康宁在光子学领域的布局正成为其增长的重要驱动力,其与Lumentum和Astera Labs的合作表明,面向AI机架级系统的光互联技术到2030年可能释放高达100亿美元的营收空间。

博通的集成光学方案:AI数据中心需要扩展计算规模,集成光学技术有望提供一条可行路径,克服电气瓶颈,提供扩展互联所需的传输距离、能效和密度。

圣路易斯磨坊厂址将建数据中心:TerraWatt提议将占地381英亩的原Alton Street磨坊厂址改建为一座200兆瓦的数据中心。TerraWatt已达成一项"附条件协议",Ameren Illinois将对此开展研究。

RCRtv最新访谈

RCR活动

RCR圆桌会议——AI基础设施,10月21日,德克萨斯州达拉斯

10月21日,50位数据中心、能源及AI领域高管将齐聚达拉斯丽思卡尔顿酒店,参加这场仅限受邀人士参加的圆桌会议,共同探讨AI的供电与扩展议题。申请邀请函

工业无线论坛,11月10日,线上举行

从私有5G、Wi-Fi、公共蜂窝网络到边缘AI、频谱、下一代物联网与传感技术,本次论坛将探讨塑造工业运营未来的基础设施选择与实际挑战。立即报名

AI基础设施论坛,12月8日,线上举行

欢迎参加RCRTech AI基础设施论坛,探讨随着AI向推理转型,电信运营商、超大规模云服务商与数据中心将如何竞争或合作,以及在每个Token都至关重要的时代,谁能获取其中的价值。立即报名

行业资源

RCRTech趋势

WiFi推动电信业增长

RCRTech趋势

非地面网络(NTN)的崛起

电信运营商终于获得AI话语权

能源部、联邦能源监管委员会与PJM正试图在加快电网建设与保护消费者免受电价飙升影响之间寻求平衡

数据中心开发商:主动、有意识地开展社区参与

针对先进闭源模型的AI监管将更加"亲力亲为",而开源模型则不受此限

RCR Tech - AI INFRASTRUCTURE