Upscale将芯片、系统与软件整合进全新的Token Fabric架构之中。

AI集群依赖两种网络形态。扩展式(Scale-up)网络连接机柜内部的加速器,而横向扩展(Scale-out)网络则连接数据中心内不同机柜之间的通信。一次完整的AI任务通常需要同时用到这两种网络,但许多企业习惯将二者当作独立系统来管理,这就带来了协同上的挑战。

网络初创公司Upscale近日推出了Token Fabric架构,旨在将这两种网络融合为一体。该架构整合了公司自研的SkyFabriX扩展式网络芯片、基于英伟达Spectrum-X以太网技术打造的横向扩展系统,以及统一的运维软件层。公司计划在2027年初实现全面商用,目前已启动早期体验和联合验证计划。

此次发布建立在此前两个重要节点之上。总部位于加州圣克拉拉的Upscale于2025年9月完成1亿美元种子轮融资后正式公开亮相。今年6月,公司又完成1.9亿美元融资,并公布了其定制扩展式交换芯片SkyHammer的研发计划,SkyFabriX正是基于SkyHammer架构打造。提供Spectrum-X芯片的英伟达也参与了6月这轮融资。目前,Upscale累计融资额已达约5亿美元,员工规模超过300人。

Upscale首席执行官巴伦·卡尔(Barun Kar)在接受Network World采访时表示:"如果你看看算力的发展,算力正在快速提升,而网络建设却明显滞后了。"

Token Fabric由哪些部分组成

Token Fabric是一套涵盖扩展式与横向扩展两种场景的软硬件组合方案。

SkyFabriX芯片是扩展式交换芯片,支持用于扩展式网络的以太网协议ESUN,以及标准以太网/IP协议,同时兼容UALink等正在演进中的新协议。该芯片的交换容量达115.2太比特每秒,未来路线图将提升至每秒数拍比特。

扩展式交换托盘提供定制和标准机架两种形态,可将GPU及其他加速器汇聚成大规模的扩展式计算域。

横向扩展系统基于英伟达Spectrum-X芯片打造,速率覆盖400G、800G直至1.6T。借助SkyOS软件,这些系统可接入英伟达及其他厂商的加速器集群。

SkyOS与SkyCMD分别承担网络操作系统和编排管理的角色。SkyOS基于开源的SONiC(云端开放网络软件)打造,并针对AI协议做了优化,可同时服务于扩展式与横向扩展两种网络。SkyCMD则是编排与可观测性层,为两种网络提供统一的编排管理平面。

在使用方式上,客户可以单独采购芯片、系统、软件,也可以选择全栈方案。全栈方案主要面向新型云服务商(neocloud)以及不具备超大规模网络团队的企业用户;集成系统方案则面向希望获得经过验证的硬件、而无需自行搭建网络技术栈的非GPU加速器厂商;第三种方案则为拥有自研网络操作系统的超大规模云厂商提供芯片或定制系统,并配套软件开发工具包。

这三种方案都建立在同一套芯片、系统与软件组合之上。卡尔表示:"所有环节都必须整合在一起,这正是我们的价值所在,我们是垂直整合的公司。"

Token Fabric的工作原理

Token Fabric是从协议层自下而上搭建而成的。

Upscale的做法是在现有协议基础上做扩展,而非另起炉灶。扩展式网络流量采用ESUN和标准以太网/IP协议,横向扩展网络流量则采用标准以太网配合RoCE协议,后者能够在以太网上实现远程直接内存访问。

Upscale同时也在为底层的开源项目做贡献,包括SONiC、面向ESUN的交换机抽象接口(SAI)扩展,以及超以太网联盟(UEC)和UALink相关标准。

软件层将两种网络紧密结合在一起。SkyOS对底层硬件进行抽象,为整个集群提供统一的控制平面;SkyCMD则将这一控制平面以单一接口的形式对外暴露,背后连接多种网络设备,使异构集群中的任何计算平台都能通过它来管理网络。

卡尔表示:"操作系统必须做到精简高效,才能实现快速、灵活与安全;在此基础上,还需要在上层加入编排层,以支持异构计算等能力。"

Token是否正成为衡量网络性能的新指标

传统上,网络团队关注的是数据包、吞吐量、丢包率和抖动等指标。但对AI网络而言,问题在于:Token是否才是真正应该优化的核心单位?

卡尔对此给出了肯定的回答:"我认为这正是关键所在。"

他指出,当前用户的付费方式本身就是以Token为计量单位的。他列举了首个Token生成时间、每秒生成Token数、每美元可获得的Token数以及每瓦特可处理的Token数等关键指标。要优化这些指标,网络能力至关重要,尤其是在加速器规模扩展至数十万颗的集群中。

不过,许多现有网络在面向Token优化方面仍存在差距。卡尔表示,造成这一差距的主要原因在于芯片层面的延迟、带宽以及扩展式功能的不足;而在软件层面,预测性分析和遥测技术则是保障系统持续稳定运行的关键。

另一项挑战则是如何借助智能体技术来优化网络运行。为此,Upscale已经将基于智能体的运维能力直接构建进了整个平台之中。

卡尔表示:"智能体会持续监控网络状态,判断线缆或光模块是否可能出现故障,或者是否存在拥塞问题,并主动寻找解决方案。"

Q&A

Q1:Upscale的Token Fabric架构是什么?

A:Token Fabric是网络初创公司Upscale推出的新架构,它将公司自研的SkyFabriX扩展式网络芯片、基于英伟达Spectrum-X以太网打造的横向扩展系统,以及统一的运维软件层整合在一起,旨在解决AI集群中扩展式网络与横向扩展网络相互割裂的问题。

Q2:Upscale和英伟达是什么关系?

A:英伟达为Upscale的横向扩展系统提供Spectrum-X以太网芯片,并参与了Upscale今年6月完成的1.9亿美元融资。目前Upscale累计融资约5亿美元,员工超过300人。

Q3:为什么说Token是衡量AI网络性能的新指标?

A:由于用户目前是按Token付费使用AI服务,因此首个Token生成时间、每秒Token数、每美元Token数和每瓦特Token数等指标,都直接依赖于网络性能,尤其是在大规模加速器集群中,网络表现对这些指标影响显著。

Networkworld