网络延迟 关键字列表
GPU/TPU大集群组网技术分析

GPU/TPU大集群组网技术分析

用于连接 GPU 服务器中的 8 个 GPU 的 NVLink 交换机也可以用于构建连接 GPU 服务器之间的交换网络。Nvidia 在 2022 年的 Hot Chips 大会上展示了使用 NVswitch 架构连接 32 个节点(或 256 个 GPU)的拓扑结构。由于 NVLink 是专门设计为连接 GPU 的高速点对点链路,所以它具有比传统网络更高的性能和更低的开销。

InfiniBand将乘AI东风大放异彩,还是说以太网将继续固守阵地?

AI系统目前在整个网络交换潜在市场中的占比“远低于10%”,而且其中约九成部署的都是英伟达/Mellanox的InfiniBand,而非传统以太网。这些部署将英伟达的网络收入拉升至每年100亿美元,也使其成为该领域内的第二大参与者,成功反超瞻博和Arista。