AI ???? ????? ??? ???? ???? ??? ?? ?? ??? ????? ??? ? ??? ??? ????? ???? ????. ???, ????, ?? ????? ? ?? ??? ????? ???? ?? ?????.
AI ???? ??? ????? ??? ??? ? ????. ?? ????? ?? ???? ??? ?????? ??? ?????, ?? ????? ????? ??? ??? ?? ??? ?????.
NVIDIA DGX Cloud Benchmarking Recipes? ? ?????? ??? ??? ?? ???? ????, ??? ??? ???? ?? ?? ??? ?????.
??? ??? NVIDIA DGX Cloud Benchmarking Recipes? ?????.
AI ???? ??? ????? ????
DGX Cloud Benchmarking Recipes? ?? ???? ??? ???? AI ?? ????? ??? ??? ??? ? ?? ???? ???? ?????. ? ???? ???? ?? AI ??? ???? ?? AI ??????? ??? ????? ???????.
?? ????? ??(FLOPS)?? ???? ?? ? ??? ?? ??? AI ???? ???? ??? ???? ? ??? ?? ? ????. ????? FLOPS? ??? ? ??? ??????, ?? ?? ?????? ??? ??? ??? ?? ?? ? ??? ????.
??? AI ??? ?? ??? ????, ?????, ???, ?? ??? ? ?? ?? ??? ??? ????.
?? ??, ???? NVIDIA NVLink ???? ???? ???? ?? ???(tensor parallelism)? ?? ?? ?? ?? ??? ?? ??? 8-GPU ??? ?? ??? ? ????. ?? NVIDIA Grace ?? ?????? NVLink ???? ??? ?? ?? ???????? ? ?? FLOPS? ??? ? ?? ???? ??? ?? ?? ?? ??? ?? ? ????.
FLOPS??? AI ???? ???? ?? ??? ?? ??? ???? ???? ?????. ?? Llama 3.1 ??? ?? ?? AI ??????? ??? ??? ??? ???? ????? ???? ?? ? ????, ?? ?? ?? ?? ???? ???? ??? ????? ???? ??? ??? ? ????.
???? ?? AI ???? ??? ??? ??? ??
??? ??? ??? ??? ??? ??? ????:
- ?? ????
- ???? ??
- ??? ??
- ????? ??
- ???? ????
- ???? ?? ??
AI ???? ??? ?? ??
- ?? ?? ?? ??
- ?? ???
- ?? ??(batch size)
- ?? ???(precision format)
- ??? ?? ??
???? ?? ???? ????
????? ?? ??? ??, NVIDIA DGX Cloud Benchmarking Recipes? ?? ??? ????? ????? ?? ??? ??? ???. ? ???? Llama 3.1, Grok, Mixtral? ?? ?? ??? ?? ????? ??? ??? ???? ??? ???? ? ??? ???????.
| ???? | ?? | ?? | ???? ?? | ????? | ?? ?? (#GPUs) | DTYPE |
| Nemotron4 | Training | 15B and 340B benchmarks | 24.09 | Synthetic | 2048 | FP8, BF16 |
| Nemo Megatron | Training | 175B benchmarks | 24.05 | Pile | 2048 | FP8, BF16 |
| Llama 3.1 | Training | 8B, 70B, and 405B benchmarks | 24.09 | Pile | 2304 | FP8, BF16 |
| PaXML | Training | 5B and 175B benchmarks | 24.03.04 | Synthetic | 2048 | FP8, BF16 |
| Maxtext | Training | Llama2 70B benchmarks | 2024.12.09 | Synthetic | 2048 | FP8, BF16 |
| Grok1 | Training | Grok1 314B benchmarks | 24.09 | Synthetic | 2048 | FP8, BF16 |
| Llama 2 | Fine Tuning | Hugging Face 70B benchmarks | 24.02 | HF Llama2 | 512 | BF16 |
| Mistral | Fine Tuning | Hugging Face 7B benchmarks | 24.02 | HF Mistral | 256 | BF16 |
? 1. DGX ???? ???? ??? ?????? ?? ??? ????
? 1?? ?????? ??(training)? ?? ??(fine-tuning)? ?? ????, ??? ?? FP8 ? BF16? ?????.
? ?? ????? ???? ???? ??? ????. ????? ??? ??? ? ????? ???? ? ?? ? ??? “?? ??? ?? ?? ???? ??? ??? ?????”???.
??? ?? ??? ? ??? ??? ??, ??? ? ??? ??? ????. ??? ??? ??? ?? ? ??? ??, ?? ??? ?? ??????? ??? ?? ?????. ?? GPU ?? ??? ? ???? ?? ??? ?? ? ???, ?? ??(weak scaling) ?? ?? ??(strong scaling) ??? ?? ?? ??? ??? ??? ? ????.
? ????? ???? ??? ?? ??? ???? ???? ??? ??? ??? ? ????.
?? ????? ??? ??, ?? ??, ?? ???(precision format), ??? ?? ?? ?? ???? ???. ??? ????? NVLink? ????? ??? ????? ???? ??(?: ?? ???, ???? ???), ???? ?? ??(scale-out fabric)? ?? ???? ?? ??(networking collectives)? ??? ???? ??? ???? ???(?: ????? ???, ??? ?? ???).
??? ?? ???? NVIDIA SpectrumX ? InfiniBand ???? ?????? ? ? ??? ?? ?? ?? ??(RDMA)? ???? ?? ??(congestion management) ? ??? ???(adaptive routing)? ???? ???? ?????. AI ????? ???? ??? ???? ??(jitter)? ??? ???? ??? ??? ???? ???? ??? ??? ???? ?? ??????.
FP8 ????
DGX Cloud Benchmarking Recipes? FP8 ????? ???? ?? ? ?? ?? ??? ????, ? ??? ???? ??? ??? ??? ? ??? ????. ?? ??, Llama 3.1 70B ??? ?? ????? DGX Cloud ????? ??? ????? ???? FP8 ??? ???? ????.
AI ?????? ?? ???? ???? ???? ?? ??? ?????. DGX Cloud Benchmarking Recipes? ??? ?? ??? ?? ?? ?? ??? ????, ?? ?? ? ??? ? ?? ???? ???? ??? ??? ? ??? ???.
??? ?? ?? ????? ?? FLOPS ???(MFU)? ?? ??? ?????. MFU? ??? ?? ?? ??? ??? ????? ?????? ???? ???, ?? ??? MFU? ???(throughput)? ??? ? ????. ??? ??? ????? ?????? ???? ??? ???? ???? ? ??? ??? ? ????.
DeepSeek-R1? 671B ????? ?? ???, NVIDIA H200 GPU ???? ?????. ? ??? ?? ???? ?? ???, ?? ?? ??, ????, ??? ??? ????? ????? ??? ??? ??? ??? ??? ? ??? ?????. ???? ????? ?? ???? ??? ????, ?? ?? ???? ??? ???? ????? GPU ???? ??? ???? ? ????.
?????, ? ????? ?? ??? ??? ?????? ??? ?? ?? ??? ??? ???? ?????. ?? ??, ??? ??? ?? ?? ??? ????? ??? ??? ?? ??? ? ????.
DGX Cloud Benchmarking Recipes ????
??? ??? ?????? ???? NVIDIA? ?? ?????(NGC Catalog)?? ?????. ?? ??? ???? ?? ??? ??? DGX Cloud Benchmarking 24.11.1? ?????.
? ???? ????? ??? ?? ??? ??? ? ????.
- ?? ? ???? ?? ????? ????
- ??? ?? ?? ???(synthetic data)? ???? ????
- ?? ?? ?? ? ??(stdout) ?? ??
- ???? ???? ??? ?? ??
- NVIDIA ?? ????? ?? ???? ?? ??
? ???? Slurm ???? ?? ???? ??? ??, ?? Kubernetes ??? ?? ????. DGX Cloud Benchmarking Recipes? ????? ?? ????? ?? ???? ????? ?, ???? ?? ? ???? ????? ???? ???.
??? ?? ??? ????? ?????
???? AI ???? ??? ??? ????? ?? ?? ??? ??? ?? ???? ??? ?????? ???? ?? ?????. GPU? ?? ??? ?????, ??? ???? ???? ? ????? ???? ????? ?????? ??? ?? ??? ???? ???? ?? ????.
NVIDIA? ???? ???? ???? ?? ??? ?? ??? ????? ???? ????. ?? ??, NVIDIA NVLink ? NVLink Switch? ?? ???? ??????? NVIDIA TensorRT-LLM? ?? ????? ??????? ????? ??? ??? ?? ??? ?? ??? ??? ????.
?? ??, MLPerf Inference?? NVIDIA H100 GPU? ?? ??? ??? ? 1? ?? 3.4? ???????. ??? ???? ???? ??? ? ??? ??? ????, ??? ?? ??? ???, ???? ?? AI ??? ???? ? ??? ?????.
? ???? ???? ????:
- FP8? ??? ??? ??? ?? AI ???? ???
- ???? ??? NVIDIA?? ??? ??? ??? ???? ??
- ?? ???? ???? ?? ?? ?? ??
?? ?? ??? ???? ???? ??? ??? ??? ?? ??? ??? ? ????. ??? ?? ?? ?????? ??? ??? ??? ??? ? ????. NVIDIA? ????? ???? ?? ??? ??? ????? ???? ????, AI ??? ??? ?????, ??? ????? ???? ?? ??? ??? ? ????.
??? ??? DGX Cloud Benchmarking Recipes?? ?????.
?? ???
- GTC ??: ??? AI ??? ?? ?? ????
- GTC ??: Oracle ???? ????????? NVIDIA AI Enterprise ? DGX Cloud? ?????? AI ?????? ???(??: Oracle)
- GTC ??: NVIDIA SuperPOD? ?? ??? AI ??(??: Pure Storage)
- NGC ????: 2024? 10? DGL(PB 24??)
- NGC ????: ASR Parakeet CTC Riva 1.1b
- SDK: MONAI ???? API
