自2004年成立以来,可以说没有哪家网络厂商的交换机做得比Arista Networks Inc.更好。这在当时是事实,如今依然如此,这方面的优势帮助该公司搭上了云计算热潮和人工智能浪潮的顺风车。
但随着AI规模不断扩大,这一模式正在发生变化。在下周于圣何塞举行的开放计算项目(OCP)全球峰会之前,Arista今日宣布将其AI网络战略从交换机层面扩展到机柜整体层面。
Arista正在推出一套开放的以太网机柜级产品组合,涵盖纵向扩展(scale-up)和横向扩展(scale-out)两种AI网络架构,并与包括Advanced Micro Devices Inc.、Arm Ltd.、Broadcom Inc.、d-Matrix Corp.、Meta Platforms Inc.、Microsoft Corp.和Qualcomm Corp.等众多厂商组成的庞大生态系统共同打造。此次发布的核心产品是Etherlink SU-144,这是一种基于以太网的纵向扩展架构,可在单跳域内连接多达144个加速器(XPU),跨机柜则可连接多达1024个XPU。该架构基于“以太网纵向扩展网络”(ESUN)倡议构建。
在AI时代,网络不能再被视为连接服务器之间独立的数据传输通道。它已经变成了一种高度集成的机柜级背板,而其构建质量直接决定了客户能从计算资源中获得多少价值。对于一家一直以“网络作为独立层”为身份标识的公司来说,这是一次重大转变。但网络并没有消失在计算之中,而是计算正在围绕网络被重新构建。
Arista发布的内容
纵向扩展部分包含三种物理形态,分别针对不同的应用场景。在分析师简报会上,Arista AI系统与网络负责人Vijay Vusirikala逐一介绍了这些方案。
正交机箱
服务器位于前方,全高交换卡位于后方直接连接,无需背板或线缆,延续了Arista模块化机箱的设计传统。该方案支持100至400千瓦的液冷功率,适用于需要尽可能大纵向扩展域的训练型工作负载厂商。
线缆背板
交换机位于机柜中部,通过铜缆线盒与服务器连接。密度较低但更易维护,并允许运营商在机柜内和机柜间带宽之间进行灵活分配。
跨机柜方案
通过专用交换机柜连接多个独立的加速器机柜。这是最灵活、上市速度最快的设计,因为它无需长期的联合工程周期,但会增加互连成本和功耗。Vusirikala表示:“铜缆的性能很快就会耗尽”,因此超过两个机柜的连接就需要光纤方案。
在横向扩展方面,Arista提供了基于7060EX7交换机构建的液冷机柜参考设计,分为8、12和16交换机三种配置。每种配置可实现102.4太比特/秒的带宽,并配备光纤配线架、冷却分液器、带主动漏液检测的滴水盘、机柜管理控制器以及带电池备份的电源架。集成合作伙伴负责机柜的组装、测试和交付。该架构支持超以太网联盟(UEC)规范、多路径可靠连接(MRC)弹性机制、多平面路由以及动态集群负载均衡。
客户可以选择运行Arista EOS系统,或基于通用Netdi基础架构运行开放网络操作系统。Arista还表示,下一代光学技术(包括其XPO可插拔模块以及开放式共封装和近封装光学方案)将把机柜容量从1.6拍比特/秒提升至6.5拍比特/秒,数据中心占地面积可减少近一半。
Andy Bechtolsheim将在OCP峰会发表演讲
OCP全球峰会将于10月12日至15日在圣何塞举行,Arista将在展台展示一套完整组装的液冷机柜。这与Arista以往的技术展示风格有所不同,此次更侧重于冷却分液器、漏液处理、光纤管理和电源系统,而非交换机本身。根据Arista的活动页面,公司联合创始人、行业远见者Andy Bechtolsheim将于10月13日下午1点发表题为《千兆瓦级AI数据中心时代》的演讲。
此举对Arista的意义
此次发布中有三点值得关注。首先,Arista正瞄准AI网络中它尚未占据主导地位的领域。该公司在横向扩展(scale-out)和跨机柜扩展(scale-across)方面处于领先地位,但在纵向扩展(scale-up)方面,市场格局一直被英伟达的NVLink主导。Arista坦言,短期内这一局面在英伟达系统上不会改变。Vusirikala对笔者表示:“短期内没有机会,因为那是专有技术。”
机会存在于非英伟达加速器市场,而AMD、微软Maia、Qualcomm和d-Matrix等合作伙伴名单表明这一市场是真实存在的。Arista押注异构计算将成为主流趋势。这对Arista而言是明智之举,因为在不与英伟达这一看似不可撼动的业务正面竞争的情况下,各家厂商仍有大量机会可寻。
其次,Arista在为“跨三种架构统一网络协议栈”这一理念进行论证。这三种网络此前一直是彼此独立的。Arista希望无论底层芯片是浅缓存、深缓存还是低延迟设计,都能使用相同的EOS系统、遥测和诊断工具。这是一种以网络为中心的视角,而非以计算为附属的视角,也是Arista最有力的论点,因为故障隔离和预测性维护如今已延伸到集群中对性能最敏感的部分。
第三,这是一种参考架构战略,而非单一产品发布,它改变了基础设施的交付方式。Arista提供交换机、软件、设计方案和验证套件,而合作伙伴负责机柜集成。
在简报会上,Arista高级产品线经理Arihant Jain解释了这一点的重要性。一个16交换机的机柜配置可能涉及2000条光纤,而现场布线很容易出现弯曲半径超标、接线错误、信号完整性问题以及光模块失效等情况。他表示:“过去那种依靠备件或现场组装的旧方法必须改变。”机柜需要在前期完成集成和测试,然后再整体运送到现场安装。液冷技术使这一问题变得更加紧迫,因为交换机、分液器和漏液应对方案必须统一设计。
当检测到漏液时,应该关闭交换机还是整个机柜?这一决策是否应与楼宇管理系统联动?这些过去属于设施管理的问题,如今已经变成了网络层面的问题。
需要注意的是,英伟达的一体化交付方案仍是Arista面临的最大障碍,在某种程度上也削弱了其以太网技术优势的展示空间。当客户购买完整系统时,以太网往往不会成为讨论的重点。开放式设计在选择性和经济性上更具优势,但这需要加速器厂商、机柜集成商和散热供应商之间的紧密协作。
整个生态系统的执行效率将决定这些架构的落地速度。早期采用者将是超大规模云服务商、新型云计算公司和AI基础设施提供商。至少目前而言,大多数企业将通过这些服务商间接使用这些架构,而非直接自行部署。
给网络工程师的建议
现在就要学习液冷技术
Arista预计,明年其现有的100太比特交换机在风冷与液冷部署之间的比例将大致为50比50。Vusirikala表示,当带宽达到200太比特/秒时,液冷将变得几乎是必需的。仅去除风扇就能将交换机功耗降低约10%。熟悉分液器、漏液检测和散热设计的工程师将更受市场需求。
以机柜为单位思考,而非单个设备
当机柜本身成为产品时,验收测试、备件管理和故障排查方式都将发生变化。建议向厂商索取机柜级验证数据。
熟练掌握纵向扩展技术
纵向扩展过去是服务器团队的职责范畴。随着以太网进入这一领域,它将成为网络团队需要面对的问题。建议深入研究ESUN、UEC以及链路级重传、基于信用的流量控制等相关特性。
保持光学方案的开放选择
Arista表示,其客户在下一代可插拔模块与开放式共封装光学方案之间的选择大致各占一半。建议根据可维护性、功耗和自身运维模式进行判断。
保持运维一致性
在纵向扩展、横向扩展和跨机柜扩展这三种架构中统一运维模式,其价值往往超过边际性能提升带来的收益。
向AI服务提供商多提问
如果你是从新型云计算公司或云服务商处获取AI算力资源,建议询问其纵向扩展域的构建方式,以及故障机柜的隔离速度有多快。这将直接影响你所支付的加速器使用时间的实际价值。
在横向扩展领域,InfiniBand与以太网之争已基本尘埃落定。Arista正押注同样的经济性逻辑在更底层——机柜内部——同样适用。竞争的焦点已不再是端口速率,而是谁能最快交付经过验证的机柜,让昂贵的加速器尽快投入使用。随着加速器种类日益多样化,将一切连接在一起的网络正在成为真正的平台,而这正是Arista所希望占据的位置。
Zeus Kerravala是ZK Research首席分析师,该机构隶属于Kerravala Consulting。本文由其为SiliconANGLE撰写。
图片来源:Arista
Q&A
Q1:Arista的Etherlink SU-144是什么?
A:Etherlink SU-144是Arista推出的一种基于以太网的纵向扩展架构,可在单跳域内连接多达144个加速器(XPU),跨机柜最多可连接1024个XPU,基于ESUN倡议构建。
Q2:Arista的新机柜级方案能否替代英伟达的NVLink?
A:目前还不能。Arista坦言,在英伟达系统上短期内没有机会,因为NVLink是专有技术。该方案主要针对AMD、微软Maia、Qualcomm、d-Matrix等非英伟达加速器市场。
Q3:为什么液冷技术对AI网络变得如此重要?
A:Arista表示,当交换机带宽达到200太比特/秒时,液冷几乎成为必需。仅去除风扇就能降低约10%的交换机功耗,预计明年风冷与液冷部署比例将达到50比50。
