英伟达Blackwell平台网络配置分析-轻识

本文来自“英伟达Blachwell平台网络配置详解”。GTC大会英伟达展示了全新的 Blackwell 平台系列产品，包括 HGX B100 服务器、NVLINK Switch、GB200Superchip Computer Node、Quantum X800 交换机和 CX8 网卡（InfiniBand 方案）、ETH Spectrum X800 交换机和 BF3 网卡（以太网方案）。

相关链接：

1、英伟达NVLink技术详细概述
2、英伟达Blackwell平台网络配置详解
3、英伟达GB200 NVL72全互联技术，铜缆方案或成为未来趋势？
4、英伟达Blackwell性能翻5倍，AMD/Intel产品升级，国产厂商如果应对？

1. Blackwell 平台网络配置分析

从网络配置的角度，英伟达提供了第五代 NVLINK、第六代 PCIE、单端口800Gbit/s 的 IB 和以太网网卡、1.6T 光模块需求。从目前英伟达公布的产品介绍看，这些升级后的网络能力可能不会第一时间全部配置在最新的 DGX B200 服务器上，而是在后续的产品中逐步升级。从英伟达公布的产品说明材料看，DGX B200 服务器配置 8 颗 NVIDIA B200 Tensor Core GPUs，4 个 800G OSPF 光模块，最大功耗为 14.3kW。

2 DGX GB200: NVLink domain 提升至 576 GPUs

采用 DGX GB200 系统的 NVIDIA DGX SuperPOD 专为训练和推理万亿参数生成式AI 模型而构建。每个液冷机架配备 36 个 NVIDIA GB200 Grace Blackwell 超级芯片（36 个 NVIDIA Grace CPU 和 72 个 Blackwell GPU），与 NVIDIA NVLink 连接为一体。多个机架与 NVIDIA Quantum InfiniBand 连接，可扩展到数万个 GB200 超级芯片。

GB200 可以在单机柜内搭建包含 36 个或者 72 个 GPU 的 NVLink domain。一个机柜内包含 18 个计算节点和 9 台 L1 NVLink Switch。基于第五代 NVLink 技术，每个 NVLink 交换机可以提供 144 个 100GB NVLink 端口。通过机柜内的 9 个 L1NVLink Switch 可以合计提供 1296 个 100GB NVLink 端口，机柜内的每个Blackwell GPUs 可以获得 18 个端口，合计 1.8T 的 NVLink 带宽。

GB200 NVL72 使用了一个定制化的 Copper cable cartridge 实现机柜内 9 个L1 NV Switch 和 18 个计算节点的 NVLink 连接。英伟达介绍 NVIDIA GB200 NVL72可以在一个 NVLink domain 内连接 576 个 GPU。英伟达当前公布的 GB200 NVL72 配置了 72 个 CX7 网口（OSFP 400Gb/s InfiniBand），并没有使用最新的 CX8 网卡。

3 全新 IB 交换机，双层胖树支持万卡集群

NVIDIA Quantum-X800 Q3400-RA 是一台 4U 的 IB 交换机，对比上一代Quantum-9700 交换机设备尺寸提升了一倍。Quantum-X800 也是英伟达第一款使用200Gb/s-per-lane SerDes 方案的交换机设备，通过 72 个 OSPF 1.6T 光模块提供144 个 800G 端口。英伟达指出，基于 Quantum-X800 的高性能，两层胖树网路拓扑就可以连接 10386 个网络接口卡。

GTC 大会上，英伟达推出的 Spectrum-X800 SN5600 是一台 51.2T 端口容量的以太网交换机，可以配置 64 个 OSPF 800G 光模块。

4 新平台依然需要 800G 和 400G 光模块

从 GTC 大会的介绍看，BLACKWELL 平台会带来第五代 NVLINK、第六代 PCIE、第八代 IB 网络应用。但是在当前早期交付的产品中依然会采用 800G 和 400G 光模块。其中 DGX B200 服务器配置通过 4 个 800G OSPF 光模块提供 8 个 400G 端口，这和DGX H100 服务器的配置相同。

我们认为 B200 GPU 和 800 光模块的配置比例和 H100 GPU 保持一致。而 GB200NVL72 需要配置 72 个 OSPF 400G 光模块，以便通过 IB 网络实现万卡集群的连接。

5 新的IB网络带来1.6T光模块需求

NVIDIA Quantum-X800 Q3400-RA 和 CX8 NIC 则明确需要配置 1.6T 光模块。和上一代 IB 网络相比，主要的变化是 Quantum-X800 的端口能力提升至 115.2T，可以通过两层胖树拓扑实现 10386 个网络接口卡的连接，万卡规模 Blackwell GPU 集群使用 IB 网络组网的成本得到优化。我们认为这会弱化以太网方案的价格优势，提升 IB 网络方案的竞争力。

6 NVLink domain 容量扩展带来新增的铜缆连接需求

通过第五代 NVLINK 从 900GB 提升至 1800GB，单个 NVLINK domain 的 GPU 数量提升至 576 个。最大的变化是 L1 NV Switch 从服务器 PCB 板载芯片的形式调整为机柜内的 9 台交换机，连接能力提升至 72 个 GPU，需要使用铜缆实现机柜内的NVLINK 连接。

而如何实现 576 个 GPU 连接，目前英伟达还没有给出具体的连接方案，但是鉴于目前最新的 IB 交换机能力，我们认为连接 576 个 GPU 需要 L2 NV Switch。最终的方案使用铜缆还是光模块，核心是铜缆的连接距离是否可以满足 8 个机柜的连接需求，低成本的铜缆连接方案会是优先选项。

相关阅读：

Arm架构升级，v9与v8版本有何差异？
从X86到ARM，跨越CPU架构鸿沟
ARM vs x86云数据库性能深度测评与对比
从Arm v8到v9，服务器发展之路
ARM与x86：有何区别？
Arm增长突出，中国服务器市场占比达16%
分布式软件：X86/ARM CPU混合部署
Arm竞争加剧，全球众多巨头涌入
ARM处理器架构和天梯图解析
信创始于芯：Arm64体系结构编程与实践
ARM v8处理器概述、架构、及技术介绍
飞腾系和鲲鹏系：国产Arm架构CPU服务器正在崛起
Fujitsu A64FX：继承SPARC64架构的Arm超级处理器
收藏：从全球超算战略看ARM指令架构在HPC领域的发展
众多科技巨头涌入ARM，国内研发进展及玩家详解
亚马逊最新Arm服务器芯片详解
计算芯片变革：ARM取代x86成为趋势
国内外AI芯片、算力综合对比
华为算力编年史（2023）
AI算力研究框架（2023）
大模型训练，英伟达Turing、Ampere和Hopper算力分析
AI大语言模型原理、演进及算力测算
大算力模型，HBM、Chiplet和CPO等技术打破技术瓶颈
走进芯时代：AI算力GPU行业深度报告

转载申明：转载本号文章请注明作者和来源，本号发布文章若存在版权等问题，请留言联系处理，谢谢。

推荐阅读

更多架构相关技术知识总结请参考“架构师全店铺技术资料打包(全)”相关电子书(41本技术资料打包汇总详情可通过“阅读原文”获取)。

全店内容持续更新，现下单“架构师技术全店资料打包汇总(全)”一起发送“服务器基础知识全解(终极版)”和“存储系统基础知识全解（终极版）”pdf及ppt版本，后续可享全店内容更新“免费”赠阅，价格仅收249元(原总价399元)。

温馨提示：

扫描二维码关注公众号，点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。