NVIDIA? GTC 2025?? ????, ??? ???? ?? ?????? NVIDIA Dynamo? ??? ??????. NVIDIA Dynamo? ??? ?? ???? ??? AI ? ?? ??? ????? ??? ? ??? ??????, NVIDIA Blackwell ????? ???? DeepSeek-R1 ??? ??? ?? ?? 30?? ??? ?? ?? ?? ??? ?????. ? ?????? PyTorch, SGLang, NVIDIA TensorRT-LLM, vLLM ? ??? ???? ?? ???? ???? ????, ??? ? ???? ?? AI ????? ?? ??? ????? ??? ? ??? ?????.
NVIDIA Dynamo? ??? ?? ?? ??? ?????:
- ?? ???? prefill ??? decode ??? ???? GPU? ???? ??????
- ??? ?? ??? ?? GPU ???? ????? ?????? ?? ???? ??? ??????
- LLM? ??? ??? ?? ??? ??? ??? KV ?? ???? ?? ????? ????
- GPU ? ??? ??? ?? ??? ???? ?? ?? ?? ??? ?????
- ??? ??? ??? ??? KV ?? ????? ?? ??? ??? ???? ????
???? NVIDIA Dynamo? GitHub? ai-dynamo/dynamo ?????? ?? ????? ?????. ??, ? ?? ??? ??? ??????? ??, ???, ?? ??? ??? ?? ??? ?? NVIDIA Dynamo? NVIDIA AI Enterprise? ??? NVIDIA NIM ???????? ??? ?????.
?? ???? NVIDIA Dynamo? ????? ?? ?? ??? ????, ??? ??? ?? GPU?? ?? ?? GPU?? ??? AI ??? ????? ????, ?? ???? ?? ?? ??? ???? ??? ?????.
???? ???? AI ?? ?????
AI ??? ???? ?? ??? ?????? ???, ???? ? ????? ????? ? ?? ???? ??????? ??? ? ???? ??? ???. ??? ???, AI ??? ??? ???? ?? ??? ?? ????? ????? ??? ???? ?? ????? ? ??? ???? ????.
NVIDIA? 2018?? NVIDIA Triton ?? ??? ?? ???? ?, ? ??? AI ??? ????? ?? ??? ???? ??????. Triton? ??? ?? ?? AI ?? ???, TensorFlow, PyTorch, ONNX, OpenVINO ? ??? ?????? ?? ???? ?? ?? ????? ???? ?? ??? ?? ???? ??? AI ??? ?? ??(TTM)? ??????.
?? Triton? NVIDIA NGC?? 100? ? ?? ???????, Amazon,?Microsoft,?Oracle Cloud,?DocuSign,?Perplexity,?Snap ? ?? ?? ???? ?? ??? ???? AI ??? ??? ? ?? ???? ????.
Triton ?? ?? ?? ?? ?? ??? ? 2,000? ??? ??? ?????, ?? ?? ?? ???? ?? ??? ??? ???? AI ?????? ?? ? ?? ???? ????. ??? ??? ?????? ???? ??? ????? ?? ??? ???? ??? ??? GPU? ?? ??? ???????? ??? ?????. ?? ??? ??? ?? ??? ?? GPU? ???? ?? ??? ?? ??? ?? ?? ??? ??? ???? ???? ?? ?????. ?? ?? GPU ? ??? ??? ?? ??? ??? ?? ???????.
??? ??? ?? ??? AI ?? ??? ??? ???? ?? NVIDIA? NVIDIA Dynamo? ??? ?????. Dynamo? Triton? ??? ???? ??? ?? ????? ??? AI ??? ????? ??? ? ??? ??? ??? ????? ??????.
NVIDIA Dynamo? GPU ?? ??? ?? ?? ??? ???? ??? ? ???, ??? ?? ??? ?? GPU ??? ????? ??? ???? AI ??????? ??? ? ?? ?? ???? ???? ?????. ?? NVIDIA TensorRT-LLM, vLLM, SGLang? ??? ?? LLM ?????? ?? ????, ??? ? ??? ?? GPU? ??? ?? ??? ??? ??? ?? ? ?? LLM ?? ??? ??? ???? ????.
NVIDIA GB200 NVL72?? ?? ?? 30? ??
???? LLM ?? ????? prefill? decode ? ?? ??? ??? GPU ?? ??? ?? ???????. ??? ? ? ??? ???? ??? ??? ??? ???, ??? ??? ?? ???? ??? ??? GPU ??? ??? ???? ??? ????.
prefill ??? ??? ??? ??? ? ?? ?? ??? ???? ????, ?? ?? ??? ????? ?????. ??, decode ??? ?? ???? ???? ???? ??? ???? ????. ??? ??? ?? ? ??? ??? GPU? ????, ?? ?? ???? ????? ??? ?????? ???? ??? ??? ? ????. ? ? ??? ???? ?? ??? ??? ???, ?? ??? ??? ???? ????? ??? ??? ??? ??? ?????.
? ??? ???? ?? ??? ??? ?? ??? ??(disaggregated serving)???. ? ??? prefill? decode ??? ?? ?? GPU? ??? ??? ??????, ? ??? ??? ??? ??? ????? ????, ???? ??? ? ???? ??? ? ?? ???. ?? ?? 1? ? ??? ????? ?????.
?? ??, prefill ???? ?? ????? ??? ?? ?? ??? ??? ?? ??? ? ??, decode ???? ??? ?? ??? ??? ?? ?? ??? ?? ???? ??? ? ????. ?? ??? ???? ?? ????? ??? ? ?? ???, ?? ??? ???? TTFT(Time To First Token)? ITL(Inter-Token Latency) ?? SLO(Service-Level Objective)? ? ???? ??? ? ??? ???.
??? ???? DeepSeek-R1 ??? NVIDIA GB200 NVL72?? ??? ?? ???? ???? ?, NVIDIA Dynamo? ?? ??? ?? ?? ?? 30??? ?? ? ?????. ?? Llama 70B ??? NVIDIA Hopper?? ??? ??, Dynamo? ??? ??? 2? ?? ???????.
??: TensorRT-LLM, FP4, ISL/OSL: 32K/8K. Dynamo ??? ?: Inflight Batching, TEP16PP4DP4. Dynamo ?? ?: Disaggregated Serving, ????: EP4DP16, ??: EP64DP3. ??? ??? ?? ?? ??? ? ??. ???: vLLM, FP8, ISL/OSL: 3K/50. Dynamo ??? ?: Inflight Batching, TP8DP2. Dynamo ?? ?: Disaggregated Serving, ????: TP2DP4, ??: TP8.
??? ?? ? ??? ?? ??? ???? ?? ??, NVIDIA Dynamo? ?? ? ?? ?? ?? ??? ?????:
- NVIDIA Dynamo Planner
- NVIDIA Dynamo Smart Router
- NVIDIA Dynamo Distributed KV Cache Manager
- NVIDIA Inference Transfer Library (NIXL)
NVIDIA Dynamo Planner: ?? ??? ?? GPU ??? ???
??? ?? ? ??? ?? ??? ?? ?????? GPU ??? ????? ???? ?? ???? ????? ?? ??? ????? ? ??????. ??? ??? ?? ???? ??? ?? ???? ? ???, ?? ??? ?? ?? ???? ??? ?? ? ????.
?? ??, ?? ??? ??(ISL)? ?? ?? ??? ??(OSL)? ?? ?? ??? ??? ??? ????????. ? ?? prefill GPU? ??? ??? ??, decode GPU? ???? ?? ? ?? ???. ?? ?? decode GPU? prefill? decode? ?? ????? ???, decode GPU? prefill ??? ???? ??? ??? ? ???? ? ????. ??? ??? ??? ????? prefill GPU? ??? ???, ?? ???? ??? ? ??? ???.
??? ??? ??? ??(aggregated serving) ? ?? ??? ????, ? ??? GPU? ? ?? ????? ?? ??? ???? ???? ???. ???? prefill? decode GPU ? KV ?? ??? ??? ??, GPU? ?? ?? ??, ???? ??? ????? ?? ?? ?? ?? ?????. ?? ?? GPU? ???? ??? ????? ??? ??? ?? ???? ? ????.
?? ? ???? NVIDIA Dynamo Planner? ?????. ?? ?? ???? ?? GPU ?? ???? ????? ?????? ?? TTFT ? ITL? ?? ?????? SLO? ???? ???? ??? ?? ?? ???? ?? ?? ??? GPU? ???? ??? ??? ?? ??? ??? ??? ????. NVIDIA Dynamo Planner? ??? ? ??? ??? ?? GPU ???? ????? ???? ???? ????? ???? ??? ??? ??? ??? ????? ?????.
NVIDIA Dynamo Smart Router: ??? ?? ?? KV ?? ??? ??
LLM? ??? ????? ???? ??, ?? ??? ?? ??? ???? ??? KV ?? ??? ?? ???? ???. ? ??? ?? ?????, ?? ??? ?? ???? ??????? ?????. KV ??? ????? ?? ????? ??? ?? ?? ??? ?? ??? ????? ?? ? ????. ?? ??? ??? ???? ??? ????, ?? ???? ??? ?? ??, ???? ?? ???? ?? ?? ???? ?? ?????. ?? ???? KV ??? ??, ??? ???? ? ???? ??? ? ?? ???? ??? ?? ????? ?????.
NVIDIA Dynamo Smart Router? ??? ?? ??? ??? ?? ???? ??? GPU? ?? KV ??? ????, ?? ???? ??? ????? ???? ???? ???? ??????. ? ???? ???? ??? ?? ??? Radix Tree? ????, ?? ?? ??? ?? ?? ????? KV ??? ??? ? ????. ??, ?? ????? ??? KV ??? ??? ??? ????? ????, ?? ??? ?? ???? ????? ?????.
2x HGX-H100 ??. 8x DeepSeek-R1- Distill-Llama-70B. vLLM, FP8, ?? ??: 2
??? ??: 100K ?? R1 ??, ?? ISL/OSL: 4K/800
??? ?? ??? ????, NVIDIA Dynamo Smart Router? ???? ? ?? GPU ???? ???? KV ?? ???? ?? ??(overlap score)? ?????. ? ??? ?? GPU ???? ???? ??? ?? ???, ??? ?? ??? ??? ????? ??????. ?? ?? KV ?? ???? ??????? ???? ??? ?? ??? ?? ?? ???? ? ????.
? ??? ??? ??????? ?? ?? ????? ?? ??? ????, ?? ???, ???? ??, GPU ????? ????? ??? ?? ??? ??? ??????. ??? ???? KV ?? ???? ??? GPU ??? ??? ? ???, AI ??? ???? ? ?? ??? ??? ??? ? ?? ???. ????? ??? ??? ???? ?? ?? ??? ???? ? ????.
NVIDIA Dynamo ?? KV ?? ???: KV ??? ?? ???? ????? ??????
??? ??? ??? KV ?? ??? ?? ??? ?? ???? ??? ?? ??? ???. ??? KV ??? ???? ???? ???? ??? ?? ???? ??? ?????. ??? AI ??? ???? ??, ???? ?? GPU ???? ???? ?? KV ??? ?? ???? ???, ?? ? ??? ?? ???? ?????. ?? ?? AI ?? ?? ??? ?????? ??? ???? ?? KV ??? ????? ???? ?? ??? ???? ???.
?? ????? NVIDIA Dynamo? KV Cache Manager? ?????? ?? ??? ?? KV ?? ??? GPU ??? ?? ?? ???? ???—?? ?? CPU ??? ???, ?? ???, ?? ???? ???? ????—? ????? ? ??? ?????. ??? GPU ???? ??? ??? ?? ?? ????, ?? ????? ??? KV ??? ??? ? ????. ???? ??? ???? ??? ??? ??? GPU ??? ??????, ??? ??? KV ??? ?? ? ??????? ?? ?? ??? ?? ? ????.
NVIDIA Dynamo KV Cache Manager? ?? ?? ??? ??? ?? ???? ???? ????? GPU ???? ????, ?? ??? ?? ???? ?? CPU ??? ???, SSD, ?? ???? ???? ????? ??????. ? ??? ??? ???? ?? ?? ???, ?? ???? ?? KV ?? ??? ??? ??? ??? ??? ??(eviction) ??? ???? ????.
?? ? ??? ?? GPU ??? ?? KV ??? ????? ????, ?? ? ??? ?? ?? ?? ??? ?????. GPU?? ??, ?????? ????? ?? ??? ??? ? ?? ??? ??? ???? ??? ???? ??? ? ????.
NVIDIA Dynamo KV Cache Manager? PyTorch, SGLang, TensorRT-LLM, vLLM ? ??? ???? ???? ????? ???? ??? ??????, NVIDIA NVLink,?NVIDIA Quantum ???, NVIDIA Spectrum ???? ???? ?? ??? ?? ??????? KV ?? ????? ????? ??? ? ??? ?????.
NVIDIA ?? ?? ?????(NIXL): ?? ??? ?? ????? ???? ?? ??
??? ?? ??? ?? ???, ????? ???, ??? ???(expert parallelism)? ?? ?? ??? ??? ????, ??? ??? ?? ? ? ?? ? ???·???? ??? ?? GPUDirect RDMA ?? ??? ?????. ?? ??? ?? ????? prefill? decode GPU ?? ? KV ??? ??? ???? ??? ??????.
??? ???? GPU? ??? ??? ??—?? ?? CPU ???, ?? ????, ?? ????, ???? ????—???? ???? ????? ???? ? ??? ??, ????? ???? ??? ???? ?? ?? ?????? ???? ???. ?? ??? ???? ?????? ???? ??? ???.
NVIDIA Inference Transfer Library (NIXL)? ????·???? ??? ? ??? ?? ??????, ??? ??? ? ???? ?? ? ???? ??? ?????? ????? ?? ??? ??? ?? API? ?????. ??? ???? ???? ? API? ?? ??? ??? ????? ???, ??? ??(nonblocking), ?????(noncontiguous) ??? ??? ??? ??? ? ???? ?? ?????.
NIXL? ??? ??? ??? ????, GPU ???? ??? ?? SSD, ??? NVIDIA? ?? ???? ????? ???? ???? ?????? ?????.
NIXL? NVIDIA Dynamo? GPUDirect Storage, UCX, S3? ?? ??? ?? ?????? ?? API? ?? ????? ??, ??? ??? NVLink(C2C ?? NVSwitch), InfiniBand, RoCE, Ethernet ? ?? ???? ???? ??? ???? ?????. ?? NIXL? NVIDIA Dynamo? ?? ??? ?? ???? ?? ??? ??? ??? ???? ????, ?? ??? ???? ???? ? ??? ??????. ?? HBM, DRAM, ?? SSD, ???? ????(??, ????, ?? ?)? ???? ‘??? ??’ ??? ???? ?????.
NVIDIA Dynamo ????
??? LLM? ???? ??? ????? ??? ? ???, ?? ??? ??? ???? ?? AI ????? ?? ? ?? ???? ????. ? ??, ?? ? ???? ?? ?? ?? ????, ??? ?? ????? ??? ?????? ?? ??? ?? ???? ????. ?? ??, ?? ?? ??? ???? ??? ????, ?? ???? ?? ?? ?? ????? ??? ?? ?? ???????.
NVIDIA Dynamo? NVIDIA Triton? ??? ????, ??? ??? ????? ?? ?? ??, ??? ?? ??? ?? ??? ??? ????? ??? ?? ??? ??? ? ??? ???????.
AI ?? ??? ? ????? GitHub? ai-dynamo/dynamo ????? NVIDIA Dynamo ????? ??? ? ???, NVIDIA? ?? ???? NVIDIA Dynamo Discord ??? ??? ??? ??? ? ????. NVIDIA Dynamo? NVIDIA AI Enterprise ???? ??? ????, ??? ??? ??? ?? NVIDIA NIM ???????? ?? ???? ?? ????? ?????. ??, ?? NVIDIA AI Enterprise ??? Triton ?? ?? ??? ?? ???? ???? ??? ??? ?? ? ????.
?? ???
- DLI ??: ???? ???? ??? ?? ?? ????
- GTC ??: NVIDIA Dynamo ??: ?? ??? ?? ?? ?? ??? ????? ??
- GTC ??: NVIDIA GPU?? ?? ???
- GTC ??: AI ??? ???: ?? GPU ???? ???? Z by HP? ? ????? ?????(??: HP)
- NGC ????: NVIDIA MLPerf ??
- SDK: Triton ?? ??
