??? AI ? ??? ???(HPC)? ??? ????? GPU ? ?? ??? ?? ?? ??? ?? ??? ?????? ???? ?? ??? ????.
3?? NVIDIA NVSwitch? ??? ?? ???? ???? ?? ???????. ? ?? NVSwitch? H100 Tensor Core GPU? NVIDIA?? ??? ?? ?? ??? ?????? 4?? NVLink? ?????.
3?? NVIDIA NVSwitch? NVLink Switch System? ???? ?? ???, ?? ?? ??? ?? GPU? ??? ???? ???????. ?? ?????? NVIDIA SHARP(Scalable Hierarchical Aggregation and Reduction Protocol) ???? ? ??? ??? ?? ??? ??? ???? ?? ??? ???? ????.
NVIDIA NVSwitch? NVLink Switch ???? ???????? NVIDIA H100 Tensor Core GPU? ?? 256??? ???? ????? ??? ?? ??? ?-?-? ???? 57.6TB/s?? ??? ? ???? ??? ???. ?? ?? ??????? NVIDIA Ampere Architecture GPU?? HDR InfiniBand? ???? ?? ???? 9? ?? ?? ???? ?????.
?? ???? GPU ?? ??
AI ? HPC ????? ??? ??? ?? ??? ????? ??-??, ??-GPU ???? ?? ?? ???? ?? ???? ????.
??? ??? ???? ????? ?? GPU ??? ???? ??? ????, NVIDIA NVLink ??? NVIDIA GPU? ??? ??? ??? ???? ??? ? ?? ?? ??? ???? ???????.
?? ?? NVIDIA GPU? ???-?? ?? ??? ?? ??? ?? ??? NVLink ????? ????? ?????. ?? NVLink-Port ?????? GPU L2 ??? ??? ?? ??? ??? ??? ? ??? ???????.
PCIe?? ?? ??
NVLink? ?? ??? PCIe? ?? ???? ???? ????. 4?? NVLink? ?? 1?? ???? 100Gbps? PCIe Gen5? ???? 32Gbps? ??? 3?? ????. ?? ??? NVLink? ???? ? ?? ?? ???? ???? ?? ?? ? ????.
?? ?????? ?? ????
NVLink? GPU? ?? ???? ?? ??? ?? ??? ??? ???? ?? ????? ??? ???? ????? ????.
??? ?? ?? ?? ??-?-?? ???, ??? ???, ?? ?? ?? ? ?? ?????? ? ? ?? ?? ???? ??? ??? ?????.
???? ?????? ?? ????? ?????? ??, ?????? ??, ?? ?? ??? CUDA? ?? ??? ? ?? ??? ?? ????? ?? ?????.
NVLink ??
NVLink? NVIDIA P100 GPU? ?? ??? ?? NVIDIA GPU ????? ?? ??? ????? ????? ??? ??? ??? ??? ??? NVLink? ???????

4?? NVLink? GPU 1?? 900GB/s? ??? ???? ???? ?? ??? ???? ?? 1.5? ??, 3?? NVLink? ???? 5.6? ????.
NVLink? ???? ?? ??
NVIDIA NVSwitch? NVIDIA V100 Tensor Core GPU? 2?? NVLink? ?? ?? ???? ??? ???? GPU ???? ?? ???? ?-?-? ??? ???? ??????.
NVIDIA A100 Tensor Core GPU? ?? 3?? NVLink? 2?? NVSwitch? ????? GPU 1?? ???? ???? ?? ????? 2?? ??????.

4?? NVLink ? 3?? NVSwitch? ?? NVIDIA H100 Tensor Core GPU 8?? ???? ???? 3.6TB/s? ?? ???? 450GB/s? ?? ?? ???? ?????. ? ???? ?? ??? ???? ?? 1.5?? 3? ????.
?? 4?? NVLink? 3?? NVSwitch? ??? ??? NVIDIA NVLink Switch?? ???? ??? ???? NVLink ??? ??-GPU ???? ?????.
???? ?? ??? ?? ??? ???? ??? ?
3?? NVSwitch? ???? ??? ?? ?? NVSwitch???. ?? NVIDIA? ???? TSMC 4N ????? ??? ???????. ??? ???? ????? ?? 251? ?? NVIDIA V100 Tensor Core GPU?? ?? ?????? ???, ?? ??? 294??mm???. ??? ??? 50 x 50mm??, ?? ? ?? ? 2,645????.

NVLink ???? ??
3?? NVSwitch? NVLink Switch System?? ?? ??? GPU?? NVLink ??? ??? ? ??? ??? ?? ??? ??? ???.
???? 400Gbps Ethernet ? InfiniBand ??? ???? ???(PHY) ?? ?????? ?????. ????? ???? ?? ????? ??? 1?? NVLink? 4? ???? OSFP(Octal Small Formfactor Pluggable) ?? ??? ?????. ? ?? ?? ???? ??? ????? ??? ? ????.
?? ??? ?? ??(FEC) ??? ???? NVLink ???? ??? ???? ??? ? ????.
?? ????? ???? ???? ? ?? ??? ?????? ?????. ?? ?? ??? ???? ??? ??? ?? ??? ?? ??? NVLink ????? ??? ? ????. ? ??? ?? ?? ?? ???? InfiniBand ???? ????? ? ????.
? ? ?? ???
3?? NVSwitch? ???? ???? ?? ?? NVSwitch???.
???? ???? 50Gbaud PAM4 ?? ??? ??? ???? 100Gbps? ??? 3?? NVSwitch? NVLink ?? 64?(NVLink 1?? x2)?? 3.2TB/s? ??? ???? ?????. ??? ?? ??? ???? ? NVSwitch ? ?? ???? ??? ???? ?? ??????. 3?? NVSwitch? ??? ?? NVLink ????? ?????.
SHARP ?? ?? ? ????? ??
3?? NVSwitch?? SHARP ???? ?? ??? ???? ???? ?? ???? ????.

- SHARP ????
- NVIDIA Hopper ????? ???? ???? ?? ???? SHARP ALU
- SHARP ??? ???? ?? ???? SRAM
???? ALU? ?? 400GFLOPS? FP32 ???? ????, ???? ??? GPU? ?? NVSwitch?? ?? ?? ??? ??? ???? ???????.
??? ALU? ??, ??/??, ??? ? ??? ???? ??? ???/??? ??, FP16, FP32, FP64, BF16 ?? ??? ??? ?????.
3?? NVSwitch?? SHARP ????? ???? SHARP ??? ?? 128??? ??? ??? ? ????. ?? ?? ???? ???? ???? SHARP ?? ??? ???? ??? ??? ? ????.
all-reduce ?? ???
NVIDIA SHARP?? ?? ?? ?? ?? ??? AI ?? ? ?? ???? all-reduce ?????. ??? GPU? ??? ????? ??? ? ??? ?? ?? ??? ?? ??? ???? ? GPU? ?????.
? GPU? ???? ????? ?? ????? ??? ?? ??? ???? ?? ????? ??? ????? ??? ??? ?????. ??? ??? ?? ???? ???? ??? ???? ????, ? GPU? ??? ??? ???? ???? ???? ?????. ??? ??? ??? all-reduce ????? ???.

NVIDIA Magnum IO? ??-GPU ? ??-?? ?? ??? ?? ???? ??? ?? IO? ???? ???????. HPC, AI ? ??? ?? ?? ???? ? ????? ???? NVLink? NVSwitch? ??? GPU ????? ??? ???? ??? ?? ? ????.
Magnum IO?? NCCL(NVIDIA Collective Communication Library)? ???? ???, ? ??????? all-reduce? ??? ??-GPU ? ??-?? ?? ??? ?????.
NCCL AllReduce? ?? ???? ????? ???? ?? ???? ??? ?? ?? ??? ???? ?? ??? ?? ???? ? GPU? ?????. GPU? ?? GPU? ?? ??? ?? ???? ? ?? ??? ?? ?? ????? ?????.
?? ????? ??? ??? ??? ??? ???? ??? ?? GPU? ?????.

?? ????? ???? ?? ????? ?? ???? ???? ?? ????? ?? ?? ??? ?? ???? ? ????.
??? NVIDIA A100 Tensor Core GPU, 3?? NVLink, 2?? NVSwitch? ???? ??? ???? ???? ???? ????? ?? ??? 2N? ???(???? N? GPU ?? ?????). ?? ??? ???????? ??????? 2N ??? ?? 2N ??? ? GPU ?????? 2N ??? ??? ? 4N ??? ??????.

SHARP ??? 3?? NVSwitch ??? ?????. GPU? ?? ??? ???? ??? ??? ???? ?? ???? 3?? NVSwitch ??? ????. ??? ?? ??? ???? ??? ?? ????. ??? ? ?? ??? 2N+2? ??, all-reduce ??? ??? ??/?? ?? ??? ?? ??? ?????.
??? ??? ?? ?? ??
NVLink Switch System? InfiniBand? ??? 4.5? ?? ???? ???? ??? ??? ??? ???? ? ?? ??????.
?? ?? ??? ??? ??? 14TB? ?? ??? ????? ??? ?? H100? InfiniBand? ?? NVLink Switch System? ???? ? ??? ?? ???? ?? ??? ? ????.

NVLink ????
?? ??? NVLink??? ? ???? NVLink? ?? ?? ??? ? GPU?? ???? ?? ?? ??? ?? ?????. NVLink ??????? ? ???? GPU? ????? ?? ???? ??? ? ???? ?? ??? ?? ??? ??? ?? ? ??? ???? ??? ???? ??? ????. ? ??? ?? NVIDIA Hopper GPU ????? ??? ??? ?????.
NVLink? ??? ?? ???? ??? ??? ? ??????? ??? API? ???? NVLink ???? ??? ?????. ??? ??? ??? ??? ??? ?????, ???? ???? ?? ? ????? ??? ???? ? ????.

? 1? ?? ???? ??? NVLink ???? ??? ???? ??? ????.
?? | ?? ? | NVLink ???? |
??? ?? | 400G ??/?? ??? | ???-FW OSFP? |
??? ?? ?? | ??? | NVLink ??? ?-? HW ? FW |
???? ?? | IP | ??? NVLink ???? ?? ?? ? ?? ???? |
?? ?? | TCP | NVLink ??? ?-? HW ? FW |
?? ?? | ?? | SHARP groupsCUDA ??? ??? ???? ?? ???? |
?????? ?? | TSL/SSL | ????? ???(?: NCCL, NVSHMEM) |
?????? ?? | HTTP/FTP | AI ????? ?? ??? ? |
NIC | PCIe NIC(?? ?? ?) | GPU ? NVSwitch? ???? ?? |
RDMA ???? | NIC ???? ?? | GPU-?? ?? ?? |
?? ?? ???? | NIC/??? ???? ?? | NVSwitch ??? SHARP ?? |
?? ???? | NIC ?? ?? | GPU-?? ??? ? “TLB” ??? |
??? ?? | NIC ??? ?? | NVSwitch-?? OSFP ??? ???? |
DGX H100
NVIDIA DGX H100? ?? NVIDIA H100 Tensor Core GPU ?? DGX ??? ?? ??? ?? ??? ??? ???? ??? ??? ????.
- ? GPU ???? 640GB? NVIDIA H100 Tensor Core GPU 8?
- 3?? NVIDIA NVSwitch ? 4?
- NVLink Network OSFP 18?
- NVLink 72??? ???? ??? NVLink ???? ??? 3.6TB/s
- NVIDIA ConnectX-7 Ethernet/InfiniBand ?? 8?
- ?? ?? BlueField-3 DPU 2?
- ?? Sapphire Rapids CPU
- PCIe Gen 5 ??
? ??? ?? ? NVLlink
DGX H100 ???? H100 Tensor Core GPU 8?? 3?? NVSwitch ? 4?? ?????. ???? ?? ?? ??? ??? 4?? ???? ?? ??? ?? ???? GPU ???? ??? ?-?-? ???? ??? ? ????.
?? ??? NVLink ????
NVLink ??????? ??? ???? NVIDIA H100 Tensor Core GPU 8?? ?? ?? ??? H100 Tensor Core GPU? ???? NVLink 18? ?? ???? ??? ? ????.
?? ??? ???? NVIDIA H100 Tensor Core GPU 4?? ?? ??? H100 Tensor Core GPU? ???? NVLink 18? ? ???? ??? ?? ????. ??? 2:1 ??? ??? ?? ???? ???? ?? ??? ? ?? ??? ??? ???? ??? ?????.
SHARP??? ?? ???? ?-??? AllReduce? ?????.
??-?? ???
?? ???? GPU 8?? ?? ?? 400GB NIC? ?? RDMA? ????? ?????. NVLink ????? ?? ?????? ? 800GB/s? ??? ???? ?????.
DGX H100 SuperPOD
DGX H100? DGX H100 SuperPOD? ?? ?????.
- ??? ? 8?? DGX H100 ??? ?? 4?? ?????.
- ? 32?? DGX H100 ??? NVIDIA H100 Tensor Core GPU? 256? ?????.
- ?? 1?????? AI ???? ?????.
NVLink ????? ?? GPU 256?? ??? 57.6TB/s? ?? ???? ?????. ?? DGX 32?? ??? ??? InfiniBand ????? ?? ???? ConnectX-7? SuperPOD ??? ?????, ?? ??? SuperPOD? ?????? ? ??? 25.6TB/s? ??? ???? ?????.
NVLink Switch
DGX H100 SuperPOD?? ??? ??? ?? ?? 3?? NVSwitch ?? ???? ??? ??? NVLink Switch???. DGX H100 SuperPOD?? NVLink Switch? 18? ?????.
NVLink Switch? ?? InfiniBand ??? ??? ???? ?? 1U 19?? ? ??? ????, OSFP ???? 32? ?????. ? ????? 3?? NVSwitch ? 2?? ???? 4?? NVLink ??? 128? ???? ??? ??? ???? ? 6.4TB/s? ????.
NVLink Switch? ?? ? ?? ??? ??? ??? ?? ? ??? ??? ??? ?????. ??? ?? ???? ???? ??? ??? ?? OSFP ???? ?????.
NVLink ????? ?? ????
H100 SuperPOD? NVLink ????? ?? ???? DGX A100 SuperPOD? DGX A100 GPU 256?? ?? ??? ?? ???? ?? ???? ?? ?? ???? ?? ?? ? ????.
DGX H100 1?? DGX A100 1?? ?? ???? DGX H100? ?? ???? 1.5?, ??? ?? ?? ???? 3? ????. ??? ???? 32?? ???? DGX ????? GPU ?? ? 256?? ??? 9?? 4.5??? ?????.

?? ??? ????? ?? ?? ??
?? ???? ?? ??????? NVLink ????? ?? ??? ? ?? ??? ? ????. Lattice QCD, 8K 3D FFT ?? HPC ????? ?? ?? ??-?? ????? HPC SDK ? Magnum IO ?? ?? ?????? ?? ???? ??? ??? ?????.
??? ?? ??, ?? ??? ??? ??? ?? ??? ??? ??? ?? NVLink ????? ??? ?? ?? ? ????.

??? ?? ??
AI ? HPC ?????? ??? ?????? ??? ?? ??? ? ?? ??? ?????. ??? ??? ?? ???? ??? ??? ?? ?? ?? ???? ?? ?? ??? ???? ????? ?????.
3?? NVSwitch? ??? ?? ??? ???? ??? ???? GPU ? ???? ?? ???? ?? ?? ??? ??? ?? ??? ?? ?? ????? NVLink ??? ????? ?-?-? GPU ??? ?????.
Magnum IO? CUDA? HPC SDK, ??? ?? ?? ? ?? ?????? ???? ?????. ??? ?? ??, ?? ???, ?? ?? ??(3D FFT ?) ?? AI ?????? NVLink Switch System? ??? ??-??, ?? GPU? ??? ? ?? ??? ??? IO ????? ????.
??? ??? NVIDIA NVLink? NVSwitch? ?????.
? ???? ??? SDK? ???? ?? ???, ?? ???, ?? ??, ??, ?? ??, ???? NVIDIA ??? ???? ??? ??? ??? ??? ? ????. ?? ??? ???? NVIDIA? ?? ????? ???? ? ??? ??? ??? ?????? ???? ??? ??? ???