KIẾN TRÚC HẠ TẦNG

Cơ sở hạ tầng NVIDIA GB200 NVL72 và Cáp MPO-8 APC cho các Đơn vị Mở rộng (Scalable Units)

Phân tích kiến trúc cáp của một Đơn vị Mở rộng (Scalable Unit - SU) Blackwell, nơi 8 rack hội tụ thành 9.216 sợi quang hoạt động.

Đơn vị Mở rộng (SU) DGX GB200 đại diện cho một sự thay đổi lớn trong kiến trúc trung tâm dữ liệu. SU là một thực thể thống nhất gồm 576 GPU được kết nối bởi 9.216 sợi quang hoạt động. ScaleFibre cung cấp các cáp trunk được bấm chính xác cần thiết để quản lý mật độ này.

Bốn Kiến trúc SuperPOD Vật lý

NVIDIA phân chia SU thành các lớp vật lý riêng biệt để cách ly lưu lượng GPU.

MN-NVL (NVLink 5)

Mở rộng nội bộ

Mạng rack ’nội bộ’ kết nối 72 GPU ở tốc độ 1.8 TB/s.

  • Không có sợi quang
  • Bo mạch chủ đồng thụ động
  • Đầu nối Blind-mate

Tính toán InfiniBand

Mở rộng ngoại vi

Kiến trúc ‘Đông-Tây’ chính cho việc đào tạo đa nút lớn.

  • 4.608 sợi hoạt động trên mỗi SU
  • Cấu trúc liên kết tối ưu hóa đường ray
  • Quantum-3/Quantum-2

Lưu trữ & Trong băng tần

Giao diện người dùng

Kiến trúc dựa trên Ethernet để nhập dữ liệu và cấp phép tốc độ cao.

  • Hệ số chặn 5:3
  • Xử lý tải bằng DPU BlueField-3
  • Hỗ trợ VXLAN/RoCE

Quản lý OOB

Mặt phẳng điều khiển

Mạng cách ly để đo từ xa phần cứng, BMC và quản lý PDU.

  • Đồng RJ45/Cat6
  • Tầng chuyển mạch SN2201
  • Bảo mật cách ly vật lý

Các Chỉ số SU Exascale

Một Đơn vị Mở rộng (Scalable Unit - SU) gồm 8 rack đại diện cho khối xây dựng cơ bản của Nhà máy AI NVIDIA.

9,216

Sợi quang hoạt động trên mỗi SU

4,608

Sợi dành riêng cho tính toán

5:3

Tỷ lệ chặn lưu trữ

400G/800G

Tốc độ cổng gốc

Ba Cấp độ Kết nối của SU

1
Cấp độ A: Server-to-Leaf

1.152 sợi trên mỗi rack sử dụng cáp trunk số sợi cao hoặc dây nhảy để kết nối các nút NVL72 với Leaf Switches.

2
Cấp độ B: Leaf-to-Spine

Tổng hợp lưu lượng được căn chỉnh theo đường ray trong SU bằng cách sử dụng các liên kết không chặn 1:1 cho tính toán.

3
Cấp độ C: Spine-to-Core

Mở rộng vượt ra ngoài SU đến một khu vực Core tập trung bằng cách sử dụng các cáp trunk số lượng cao.

Kết nối cũ (điểm-tới-điểm)

  • ✕
    Phức tạp thủ công: Yêu cầu 9.216 dây vá riêng lẻ cho mỗi khối 8 rack.
  • ✕
    Cản trở luồng khí: Các bó cáp dày đặc chặn đường thoát khí của hệ thống làm mát bằng chất lỏng.
  • ✕
    Hồ sơ rủi ro: Khả năng cao xảy ra ‘đường ray chéo’ trong quá trình vá 1:1 thủ công.
  • ✕
    Thời gian triển khai: Hơn 115 giờ để định tuyến và dán nhãn thủ công cho mỗi SU.

Hệ thống cáp Trunk Mô-đun Số Sợi Cao

  • ✓
    Cắm-và-chạy: Gộp hàng nghìn sợi quang vào các cáp trunk được bấm sẵn 128F/144F/256F/288F/576F tùy chỉnh.
  • ✓
    Tối ưu hóa nhiệt: Cáp đường kính nhỏ tối đa hóa luồng khí trong các tủ rack dày đặc.
  • ✓
    Hiệu quả đường dẫn: Gộp 1.152 sợi hoạt động trên mỗi rack vào các đường trục MPO số lượng cao.
  • ✓
    Hồ sơ lắp đặt: Triển khai nhanh chóng thông qua các bộ phận được bấm sẵn đã kiểm tra tại nhà máy.

Tăng trưởng Sợi quang hoạt động: Từ Nút đến SuperPOD Đầy Đủ

Độ phức tạp của hệ thống cáp
9.216 sợi hoạt động trên mỗi SU yêu cầu các cáp trunk mô-đun số sợi cao để tránh 'hỗn loạn cáp' gây cản trở luồng khí.

Hình ảnh hóa Đơn vị mở rộng (SU)

Khối tính toán 8-Rack
Khối tính toán 8-Rack

Một NVIDIA GB200 SU (Đơn vị mở rộng) bao gồm 8 rack, mỗi rack chứa một hệ thống DGX GB200 NVL72 với 72 GPU.

Phân phối Cáp Trunk số sợi cao
Phân phối Cáp Trunk số sợi cao

Gộp hàng nghìn sợi quang rack vào các cáp trunk mật độ cao để thông gió, lắp đặt nhanh chóng và sử dụng đường dẫn tối thiểu.

Làm mát bằng chất lỏng
Làm mát bằng chất lỏng

Các tấm làm mát bằng chất lỏng giúp ổn định môi trường khay, cho phép các bộ thu phát OSFP tản nhiệt hiệu quả thông qua các bộ tản nhiệt gắn kèm.

Technical FAQ

+ Làm thế nào để số lượng SU vẫn dễ quản lý ở mức 9.216 sợi?
Bằng cách sử dụng hệ thống cáp phân cấp. Cáp trunk số sợi cao thay thế hàng nghìn dây vá MPO riêng lẻ, giảm thể tích vật lý và ngăn chặn tắc nghẽn làm mát.
+ 'Hệ số chặn 5:3' trong kiến trúc lưu trữ là gì?
Không giống như kiến trúc tính toán không chặn (1:1), mạng lưu trữ cố tình bị quá tải. Điều này giúp giảm chi phí cáp và độ phức tạp trong khi vẫn đáp ứng yêu cầu 40GB/s mỗi nút cho lưu trữ. Việc triển khai thường sử dụng cáp vá MPO tương thích NVIDIA.
+ Tại sao kiến trúc NVLink nội bộ không sử dụng sợi quang?
NVIDIA sử dụng bo mạch chủ đồng thụ động và các hộp cáp bên trong rack NVL72. Điều này loại bỏ hàng nghìn bộ thu phát quang và sợi quang, giảm đáng kể mức tiêu thụ điện năng và độ trễ. Sợi quang được dành cho kiến trúc tính toán mở rộng.
+ Điều gì xảy ra khi chúng ta mở rộng lên 16 Đơn vị Mở rộng (SU)?
Ở quy mô 16 SU (9.216 GPU), tổng số sợi quang hoạt động chỉ riêng cho kiến trúc tính toán đạt 18.432 sợi. Quản lý mật độ này đòi hỏi vỏ bọc mật độ cao được thiết kế đặc biệt cho sợi quang số lượng lớn và kiến trúc chuyển mạch nhóm lõi tập trung.
+ Tại sao lại sử dụng MPO-8 thay vì MPO-12 tiêu chuẩn?
Các bộ thu phát 400G NDR và 800G XDR hiện đại sử dụng quang học song song 4 làn hoặc 8 làn. Căn chỉnh MPO 8 sợi phù hợp hoàn hảo với cấu hình 4x Tx và 4x Rx. Sử dụng cáp trunk MPO 8 sợi hoạt động loại bỏ các sợi ’tối’ hoặc lãng phí trong kiến trúc cụm.
+ Tầm quan trọng của lớp đánh bóng APC (Angled Physical Contact) là gì?
Tín hiệu 100G-PAM4 tốc độ cao cực kỳ nhạy cảm với phản xạ ngược. Góc 8 độ của đầu nối APC đảm bảo ánh sáng phản xạ được hấp thụ vào lớp vỏ sợi quang, duy trì Mất mát Trở lại Quang học (ORL) cao cần thiết cho việc đào tạo AI không lỗi.
+ Mật độ sợi quang ảnh hưởng đến các trung tâm AI làm mát bằng chất lỏng như thế nào?
Ngay cả với các khay làm mát bằng chất lỏng, không khí vẫn phải lưu thông để quản lý nhiệt thứ cấp. Việc sử dụng cáp SmartRibbon mật độ cao giảm đáng kể đường kính cáp, đảm bảo rằng hệ thống cáp vật lý không cản trở luồng khí hoặc các bộ góp làm mát bằng chất lỏng.
+ Hạn chế về khoảng cách đối với hệ thống cáp cấp SU là gì?
Đa mode (OM4/OM5) bị giới hạn ở 50 mét cho 400G/800G. Đối với các liên kết Spine-to-Core tập trung vượt quá giới hạn này, sợi quang đơn mode G.657.A1 là bắt buộc để hỗ trợ phạm vi xa hơn mà không suy giảm tín hiệu.
+ Tôi có thể sử dụng cáp ngoài trời tiêu chuẩn cho các đường trục trung tâm dữ liệu AI không?
Không. Các trung tâm AI trong nhà yêu cầu LSZH (ít khói, không halogen), Riser hoặc Plenum để đáp ứng các quy định an toàn cháy nổ cần thiết tùy thuộc vào quy định địa phương. Đối với các đường dẫn mật độ cao, cáp SlimCORE trong nhà chuyên dụng cung cấp số lượng sợi cần thiết với đường kính giảm.
+ Lợi ích của dây nối quang được bấm sẵn tại nhà máy trong SU là gì?
Dây nối quang MPO cho phép nối nhanh bằng phương pháp nhiệt hạch ở lớp Spine hoặc Core. Việc bấm đầu này tại nhà máy ở một đầu mang lại lợi ích của việc bấm sẵn, trong khi đầu ’trống’ cho phép linh hoạt phù hợp với chiều dài yêu cầu tại chỗ.

Xây dựng Kiến trúc Nhà máy AI của bạn

ScaleFibre cung cấp các giải pháp cáp được bấm sẵn cho việc triển khai NVIDIA DGX SuperPOD.

Liên hệ

Nhận thông tin chi tiết về cáp trunk số sợi cao cho NVIDIA DGX SU của bạn.

Chia sẻ: