• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • 3?? NVIDIA NVSwitch? ?? ??-GPU ????? ?????

    Reading Time: 8 minutes

    ??? AI ? ??? ???(HPC)? ??? ????? GPU ? ?? ??? ?? ?? ??? ?? ??? ?????? ???? ?? ??? ????.

    3?? NVIDIA NVSwitch? ??? ?? ???? ???? ?? ???????. ? ?? NVSwitch? H100 Tensor Core GPU? NVIDIA?? ??? ?? ?? ??? ?????? 4?? NVLink? ?????.

    3?? NVIDIA NVSwitch? NVLink Switch System? ???? ?? ???, ?? ?? ??? ?? GPU? ??? ???? ???????. ?? ?????? NVIDIA SHARP(Scalable Hierarchical Aggregation and Reduction Protocol) ???? ? ??? ??? ?? ??? ??? ???? ?? ??? ???? ????.

    NVIDIA NVSwitch? NVLink Switch ???? ???????? NVIDIA H100 Tensor Core GPU? ?? 256??? ???? ????? ??? ?? ??? ?-?-? ???? 57.6TB/s?? ??? ? ???? ??? ???. ?? ?? ??????? NVIDIA Ampere Architecture GPU?? HDR InfiniBand? ???? ?? ???? 9? ?? ?? ???? ?????.

    ?? ???? GPU ?? ??

    AI ? HPC ????? ??? ??? ?? ??? ????? ??-??, ??-GPU ???? ?? ?? ???? ?? ???? ????.

    ??? ??? ???? ????? ?? GPU ??? ???? ??? ????, NVIDIA NVLink ??? NVIDIA GPU? ??? ??? ??? ???? ??? ? ?? ?? ??? ???? ???????.

    ?? ?? NVIDIA GPU? ???-?? ?? ??? ?? ??? ?? ??? NVLink ????? ????? ?????. ?? NVLink-Port ?????? GPU L2 ??? ??? ?? ??? ??? ??? ? ??? ???????.

    PCIe?? ?? ??

    NVLink? ?? ??? PCIe? ?? ???? ???? ????. 4?? NVLink? ?? 1?? ???? 100Gbps? PCIe Gen5? ???? 32Gbps? ??? 3?? ????. ?? ??? NVLink? ???? ? ?? ?? ???? ???? ?? ?? ? ????.

    ?? ?????? ?? ????

    NVLink? GPU? ?? ???? ?? ??? ?? ??? ??? ???? ?? ????? ??? ???? ????? ????.

    ??? ?? ?? ?? ??-?-?? ???, ??? ???, ?? ?? ?? ? ?? ?????? ? ? ?? ?? ???? ??? ??? ?????.

    ???? ?????? ?? ????? ?????? ??, ?????? ??, ?? ?? ??? CUDA? ?? ??? ? ?? ??? ?? ????? ?? ?????.

    NVLink? NVIDIA P100 GPU? ?? ??? ?? NVIDIA GPU ????? ?? ??? ????? ????? ??? ??? ??? ??? ??? NVLink? ???????

    ?? 1. GPU? ?? ??? ???? NVLink ??

    4?? NVLink? GPU 1?? 900GB/s? ??? ???? ???? ?? ??? ???? ?? 1.5? ??, 3?? NVLink? ???? 5.6? ????.

    NVLink? ???? ?? ??

    NVIDIA NVSwitch? NVIDIA V100 Tensor Core GPU? 2?? NVLink? ?? ?? ???? ??? ???? GPU ???? ?? ???? ?-?-? ??? ???? ??????.

    NVIDIA A100 Tensor Core GPU? ?? 3?? NVLink? 2?? NVSwitch? ????? GPU 1?? ???? ???? ?? ????? 2?? ??????.

    ?? 2. DGX ?? ??? ??? NVLink ?-?-? ??

    4?? NVLink ? 3?? NVSwitch? ?? NVIDIA H100 Tensor Core GPU 8?? ???? ???? 3.6TB/s? ?? ???? 450GB/s? ?? ?? ???? ?????. ? ???? ?? ??? ???? ?? 1.5?? 3? ????.

    ?? 4?? NVLink? 3?? NVSwitch? ??? ??? NVIDIA NVLink Switch?? ???? ??? ???? NVLink ??? ??-GPU ???? ?????.

    ???? ?? ??? ?? ??? ???? ??? ?

    3?? NVSwitch? ???? ??? ?? ?? NVSwitch???. ?? NVIDIA? ???? TSMC 4N ????? ??? ???????. ??? ???? ????? ?? 251? ?? NVIDIA V100 Tensor Core GPU?? ?? ?????? ???, ?? ??? 294??mm???. ??? ??? 50 x 50mm??, ?? ? ?? ? 2,645????.

    ?? 3. 3?? NVSwitch ?? ???? ?? ??? NVSwitch? ?? ?? ???, ??? 400GFlop? ??? FP32 SHARP? ?????.

    3?? NVSwitch? NVLink Switch System?? ?? ??? GPU?? NVLink ??? ??? ? ??? ??? ?? ??? ??? ???.

    ???? 400Gbps Ethernet ? InfiniBand ??? ???? ???(PHY) ?? ?????? ?????. ????? ???? ?? ????? ??? 1?? NVLink? 4? ???? OSFP(Octal Small Formfactor Pluggable) ?? ??? ?????. ? ?? ?? ???? ??? ????? ??? ? ????.

    ?? ??? ?? ??(FEC) ??? ???? NVLink ???? ??? ???? ??? ? ????.

    ?? ????? ???? ???? ? ?? ??? ?????? ?????. ?? ?? ??? ???? ??? ??? ?? ??? ?? ??? NVLink ????? ??? ? ????. ? ??? ?? ?? ?? ???? InfiniBand ???? ????? ? ????.

    ? ? ?? ???

    3?? NVSwitch? ???? ???? ?? ?? NVSwitch???.

    ???? ???? 50Gbaud PAM4 ?? ??? ??? ???? 100Gbps? ??? 3?? NVSwitch? NVLink ?? 64?(NVLink 1?? x2)?? 3.2TB/s? ??? ???? ?????. ??? ?? ??? ???? ? NVSwitch ? ?? ???? ??? ???? ?? ??????. 3?? NVSwitch? ??? ?? NVLink ????? ?????.

    SHARP ?? ?? ? ????? ??

    3?? NVSwitch?? SHARP ???? ?? ??? ???? ???? ?? ???? ????.

    ?? 4. 3?? NVSwitch ?? ?????

    ???? ALU? ?? 400GFLOPS? FP32 ???? ????, ???? ??? GPU? ?? NVSwitch?? ?? ?? ??? ??? ???? ???????.

    ??? ALU? ??, ??/??, ??? ? ??? ???? ??? ???/??? ??, FP16, FP32, FP64, BF16 ?? ??? ??? ?????.

    3?? NVSwitch?? SHARP ????? ???? SHARP ??? ?? 128??? ??? ??? ? ????. ?? ?? ???? ???? ???? SHARP ?? ??? ???? ??? ??? ? ????.

    all-reduce ?? ???

    NVIDIA SHARP?? ?? ?? ?? ?? ??? AI ?? ? ?? ???? all-reduce ?????. ??? GPU? ??? ????? ??? ? ??? ?? ?? ??? ?? ??? ???? ? GPU? ?????.

    ? GPU? ???? ????? ?? ????? ??? ?? ??? ???? ?? ????? ??? ????? ??? ??? ?????. ??? ??? ?? ???? ???? ??? ???? ????, ? GPU? ??? ??? ???? ???? ???? ?????. ??? ??? ??? all-reduce ????? ???.

    ?? 5. AI ???? ?? ??? ??? ???? NCCL AllReduce

    NVIDIA Magnum IO? ??-GPU ? ??-?? ?? ??? ?? ???? ??? ?? IO? ???? ???????. HPC, AI ? ??? ?? ?? ???? ? ????? ???? NVLink? NVSwitch? ??? GPU ????? ??? ???? ??? ?? ? ????.

    Magnum IO?? NCCL(NVIDIA Collective Communication Library)? ???? ???, ? ??????? all-reduce? ??? ??-GPU ? ??-?? ?? ??? ?????.

    NCCL AllReduce? ?? ???? ????? ???? ?? ???? ??? ?? ?? ??? ???? ?? ??? ?? ???? ? GPU? ?????. GPU? ?? GPU? ?? ??? ?? ???? ? ?? ??? ?? ?? ????? ?????.

    ?? ????? ??? ??? ??? ??? ???? ??? ?? GPU? ?????.

    ?? 6. ??? ?? ? ?? ??? ??? ?? all-reduce ??

    ?? ????? ???? ?? ????? ?? ???? ???? ?? ????? ?? ?? ??? ?? ???? ? ????.

    ??? NVIDIA A100 Tensor Core GPU, 3?? NVLink, 2?? NVSwitch? ???? ??? ???? ???? ???? ????? ?? ??? 2N? ???(???? N? GPU ?? ?????). ?? ??? ???????? ??????? 2N ??? ?? 2N ??? ? GPU ?????? 2N ??? ??? ? 4N ??? ??????.

    ?? 7. NVLink SHARP ???

    SHARP ??? 3?? NVSwitch ??? ?????. GPU? ?? ??? ???? ??? ??? ???? ?? ???? 3?? NVSwitch ??? ????. ??? ?? ??? ???? ??? ?? ????. ??? ? ?? ??? 2N+2? ??, all-reduce ??? ??? ??/?? ?? ??? ?? ??? ?????.

    ??? ??? ?? ?? ??

    NVLink Switch System? InfiniBand? ??? 4.5? ?? ???? ???? ??? ??? ??? ???? ? ?? ??????.

    ?? ?? ??? ??? ??? 14TB? ?? ??? ????? ??? ?? H100? InfiniBand? ?? NVLink Switch System? ???? ? ??? ?? ???? ?? ??? ? ????.

    ?? 8. ?? InfiniBand?? 4.5? ?? ???? ???? NVLink Switch System

    ?? ??? NVLink??? ? ???? NVLink? ?? ?? ??? ? GPU?? ???? ?? ?? ??? ?? ?????. NVLink ??????? ? ???? GPU? ????? ?? ???? ??? ? ???? ?? ??? ?? ??? ??? ?? ? ??? ???? ??? ???? ??? ????. ? ??? ?? NVIDIA Hopper GPU ????? ??? ??? ?????.

    NVLink? ??? ?? ???? ??? ??? ? ??????? ??? API? ???? NVLink ???? ??? ?????. ??? ??? ??? ??? ??? ?????, ???? ???? ?? ? ????? ??? ???? ? ????.

    ?? 9. NVLink Switch System? NVLink? ???

    ? 1? ?? ???? ??? NVLink ???? ??? ???? ??? ????.

    ???? ? NVLink ????
    ??? ??400G ??/?? ??????-FW OSFP?
    ??? ?? ?????NVLink ??? ?-? HW ? FW
    ???? ??IP??? NVLink ???? ?? ?? ? ?? ????
    ?? ??TCPNVLink ??? ?-? HW ? FW
    ?? ????SHARP groupsCUDA ??? ??? ???? ?? ????
    ?????? ??TSL/SSL????? ???(?: NCCL, NVSHMEM)
    ?????? ??HTTP/FTPAI ????? ?? ??? ?
    NICPCIe NIC(?? ?? ?)GPU ? NVSwitch? ???? ??
    RDMA ???? NIC ???? ?? GPU-?? ?? ??
    ?? ?? ???? NIC/??? ???? ?? NVSwitch ??? SHARP ??
    ?? ???? NIC ?? ??GPU-?? ??? ? “TLB” ???
    ??? ??NIC ??? ??NVSwitch-?? OSFP ??? ????
    ? 1. ?? ???? ??? NVLink Switch System ??? ???

    DGX H100

    NVIDIA DGX H100? ?? NVIDIA H100 Tensor Core GPU ?? DGX ??? ?? ??? ?? ??? ??? ???? ??? ??? ????.

    • ? GPU ???? 640GB? NVIDIA H100 Tensor Core GPU 8?
    • 3?? NVIDIA NVSwitch ? 4?
    • NVLink Network OSFP 18?
    • NVLink 72??? ???? ??? NVLink ???? ??? 3.6TB/s
    • NVIDIA ConnectX-7 Ethernet/InfiniBand ?? 8?
    • ?? ?? BlueField-3 DPU 2?
    • ?? Sapphire Rapids CPU
    • PCIe Gen 5 ?? 

    DGX H100 ???? H100 Tensor Core GPU 8?? 3?? NVSwitch ? 4?? ?????. ???? ?? ?? ??? ??? 4?? ???? ?? ??? ?? ???? GPU ???? ??? ?-?-? ???? ??? ? ????.

    NVLink ??????? ??? ???? NVIDIA H100 Tensor Core GPU 8?? ?? ?? ??? H100 Tensor Core GPU? ???? NVLink 18? ?? ???? ??? ? ????.

    ?? ??? ???? NVIDIA H100 Tensor Core GPU 4?? ?? ??? H100 Tensor Core GPU? ???? NVLink 18? ? ???? ??? ?? ????. ??? 2:1 ??? ??? ?? ???? ???? ?? ??? ? ?? ??? ??? ???? ??? ?????.

    SHARP??? ?? ???? ?-??? AllReduce? ?????.

    ??-?? ???

    ?? ???? GPU 8?? ?? ?? 400GB NIC? ?? RDMA? ????? ?????. NVLink ????? ?? ?????? ? 800GB/s? ??? ???? ?????.

    DGX H100 SuperPOD

    DGX H100? DGX H100 SuperPOD? ?? ?????.

    • ??? ? 8?? DGX H100 ??? ?? 4?? ?????.
    • ? 32?? DGX H100 ??? NVIDIA H100 Tensor Core GPU? 256? ?????.
    • ?? 1?????? AI ???? ?????.

    NVLink ????? ?? GPU 256?? ??? 57.6TB/s? ?? ???? ?????. ?? DGX 32?? ??? ??? InfiniBand ????? ?? ???? ConnectX-7? SuperPOD ??? ?????, ?? ??? SuperPOD? ?????? ? ??? 25.6TB/s? ??? ???? ?????.

    DGX H100 SuperPOD?? ??? ??? ?? ?? 3?? NVSwitch ?? ???? ??? ??? NVLink Switch???. DGX H100 SuperPOD?? NVLink Switch? 18? ?????.

    NVLink Switch? ?? InfiniBand ??? ??? ???? ?? 1U 19?? ? ??? ????, OSFP ???? 32? ?????. ? ????? 3?? NVSwitch ? 2?? ???? 4?? NVLink ??? 128? ???? ??? ??? ???? ? 6.4TB/s? ????.

    NVLink Switch? ?? ? ?? ??? ??? ??? ?? ? ??? ??? ??? ?????. ??? ?? ???? ???? ??? ??? ?? OSFP ???? ?????.

    H100 SuperPOD? NVLink ????? ?? ???? DGX A100 SuperPOD? DGX A100 GPU 256?? ?? ??? ?? ???? ?? ???? ?? ?? ???? ?? ?? ? ????.

    DGX H100 1?? DGX A100 1?? ?? ???? DGX H100? ?? ???? 1.5?, ??? ?? ?? ???? 3? ????. ??? ???? 32?? ???? DGX ????? GPU ?? ? 256?? ??? 9?? 4.5??? ?????.

    ?? 10. DGX A100 POD ? DGX H100 POD ???? ????

    ?? ??? ????? ?? ?? ??

    ?? ???? ?? ??????? NVLink ????? ?? ??? ? ?? ??? ? ????. Lattice QCD, 8K 3D FFT ?? HPC ????? ?? ?? ??-?? ????? HPC SDK ? Magnum IO ?? ?? ?????? ?? ???? ??? ??? ?????.

    ??? ?? ??, ?? ??? ??? ??? ?? ??? ??? ??? ?? NVLink ????? ??? ?? ?? ? ????.

    ?? 11. ?? ???? ?? NVLink Switch System? ??

    ??? ?? ??

    AI ? HPC ?????? ??? ?????? ??? ?? ??? ? ?? ??? ?????. ??? ??? ?? ???? ??? ??? ?? ?? ?? ???? ?? ?? ??? ???? ????? ?????.

    3?? NVSwitch? ??? ?? ??? ???? ??? ???? GPU ? ???? ?? ???? ?? ?? ??? ??? ?? ??? ?? ?? ????? NVLink ??? ????? ?-?-? GPU ??? ?????.

    Magnum IO? CUDA? HPC SDK, ??? ?? ?? ? ?? ?????? ???? ?????. ??? ?? ??, ?? ???, ?? ?? ??(3D FFT ?) ?? AI ?????? NVLink Switch System? ??? ??-??, ?? GPU? ??? ? ?? ??? ??? IO ????? ????.

    ??? ??? NVIDIA NVLink? NVSwitch? ?????.

    ? ???? ??? SDK? ???? ?? ???, ?? ???, ?? ??, ??, ?? ??, ???? NVIDIA ??? ???? ??? ??? ??? ??? ? ????. ?? ??? ???? NVIDIA? ?? ????? ???? ? ??? ??? ??? ?????? ???? ??? ??? ???

    Discuss (0)
    +3

    Tags

    ?? ???

    人人超碰97caoporen国产