基础设施架构

NVIDIA GB200 NVL72 基础设施和 MPO-8 APC 可扩展单元布线

解构 Blackwell 可扩展单元 (SU) 的布线架构,其中 8 个机架汇聚成 9,216 股有源光纤。

DGX GB200 可扩展单元 (SU) 代表着数据中心架构的重大转变。SU 是一个统一的 576-GPU 实体,由 9,216 股有源光纤互连。ScaleFibre 提供管理这种密度所需的精密端接主干线。

SuperPOD 的 4 种物理网络结构

NVIDIA 将 SU 分割成不同的物理层以隔离 GPU 流量。

MN-NVL (NVLink 5)

纵向扩展

连接 72 个 GPU,速度为 1.8 TB/s 的“内部”机架网络。

  • 零光纤
  • 无源铜背板
  • 盲插连接器

计算 InfiniBand

横向扩展

用于大规模多节点训练的主要“东西向”网络结构。

  • 每个 SU 4,608 股有源光纤
  • 轨道优化拓扑
  • Quantum-3/Quantum-2

存储和带内管理

前端

基于以太网的网络结构,用于高速数据摄取和配置。

  • 5:3 阻塞系数
  • BlueField-3 DPU 卸载
  • 支持 VXLAN/RoCE

OOB 管理

控制平面

用于硬件遥测、BMC 和 PDU 管理的隔离网络。

  • RJ45/Cat6 铜缆
  • SN2201 交换机层级
  • 物理气隙安全

百亿亿次级 SU 指标

一个 8 机架的可扩展单元是 NVIDIA AI 工厂的基本构建模块。

9,216

每个 SU 的有源光纤数

4,608

仅计算光纤数

5:3

存储阻塞比

400G/800G

原生端口速度

SU 连接的三个层面

1
A 级:服务器到叶交换机

每个机架 1,152 根光纤,使用高纤芯数主干线或跳线将 NVL72 节点连接到叶交换机。

2
B 级:叶交换机到脊交换机

使用 1:1 无阻塞链路聚合 SU 内部与导轨对齐的计算流量。

3
C 级:脊交换机到核心交换机

通过高纤芯数主干线将 SU 扩展到集中式核心区域。

传统跳线(点对点)

  • 手动复杂性:每个 8 机架块需要 9,216 根独立跳线。
  • 气流受阻:密集的线缆束阻碍液冷排气路径。
  • 风险概况:手动 1:1 跳线时出现“交叉导轨”的可能性很高。
  • 部署时间:每个 SU 手动布线和标记需要 115+ 小时。

模块化高纤芯数主干线

  • 即插即用:将数千根光纤整合到预端接的 128F/144F/256F/288F/576F 定制主干线中。
  • 热优化:小直径线缆可最大限度地提高密集机架中的气流。
  • 路径效率:将每个机架的 1,152 股有源光纤整合到高密度 MPO 骨干网中。
  • 安装特点:通过预端接工厂测试组件快速部署。

有源光纤增长:从节点到完整 SuperPOD

布线复杂性
每个 SU 的 9,216 股有源光纤需要模块化高纤芯数主干线,以避免气流阻塞的“线缆混乱”。

可扩展单元可视化

8 机架计算块
8 机架计算块

一个 NVIDIA GB200 SU(可扩展单元)由 8 个机架组成,每个机架容纳一个带有 72 个 GPU 的 DGX GB200 NVL72 系统。

高纤芯数主干线分布
高纤芯数主干线分布

将数千根机架光纤整合到高密度主干线中,以实现气流净化、快速安装和最小化路径占用。

液冷系统
液冷系统

液冷板稳定托盘环境,使 OSFP 收发器能够通过散热片有效散热。

Technical FAQ

+ 9,216 根光纤的 SU 如何保持可管理性?
通过使用分层布线架构。高纤芯数主干线取代了数千根独立的 MPO 跳线,从而减少了物理体积并防止冷却障碍。
+ 存储网络中的“5:3 阻塞系数”是什么意思?
与无阻塞 (1:1) 计算网络不同,存储网络是故意过载的。这在满足每节点 40GB/s 存储需求的同时,降低了光纤成本和复杂性。部署通常使用NVIDIA 兼容 MPO 跳线
+ 为什么内部 NVLink 网络没有光纤?
NVIDIA 在 NVL72 机架内部使用无源铜背板和线缆盒。这消除了数千个光收发器和光纤,显著降低了功耗和延迟。光纤保留用于横向扩展计算网络
+ 当我们扩展到 16 个可扩展单元时会发生什么?
在 16 个 SU(9,216 个 GPU)的规模下,仅计算网络的总有源光纤数就达到 18,432 根。管理这种密度需要专为高纤芯数光纤和集中式核心组交换架构设计的高密度机箱
+ 为什么使用 MPO-8 而不是标准 MPO-12?
现代 400G NDR 和 800G XDR 收发器使用 4 通道或 8 通道并行光学器件。8 芯 MPO 对齐完美匹配 4x Tx 和 4x Rx 配置。使用8 芯有源 MPO 主干线消除了集群网络中的“暗”或浪费的光纤。
+ APC(斜面物理接触)抛光的意义是什么?
高速 100G-PAM4 信令对回波损耗极度敏感。APC 连接器的 8 度角确保反射光被光纤包层吸收,从而保持 AI 训练无差错所需的高光回损 (ORL)。
+ 光纤密度如何影响液冷 AI 机房?
即使是液冷托盘,空气仍然必须循环以管理二次热量。使用高密度SmartRibbon 线缆显著减小了线缆直径,确保物理布线不会阻碍气流或液冷歧管。
+ SU 级布线的距离限制是什么?
多模 (OM4/OM5) 在 400G/800G 下限制为 50 米。对于超出此范围的集中式脊到核心链路,必须使用单模 G.657.A1 光纤,以支持更远的距离而不会出现信号衰减。
+ 我可以使用标准室外线缆用于 AI 数据中心骨干网吗?
不能。根据当地法规,室内 AI 机房需要LSZH(低烟无卤)、Riser 或 Plenum 来满足所需的防火安全规定。对于高密度路径,专用SlimCORE 室内线缆可提供所需纤芯数,同时直径更小。
+ SU 中工厂预端接尾纤有什么好处?
MPO 跳线光纤尾纤允许在脊或核心层进行快速大规模熔接。这种一端工厂控制的端接提供了预端接的优势,而“钝”端则允许灵活地适应现场所需长度。

构建您的 AI 工厂

ScaleFibre 为 NVIDIA DGX SuperPOD 部署提供预端接布线解决方案。

联系我们

获取有关您的 NVIDIA DGX SU 高纤芯数主干线的详细信息。