2025? Red Hat Summit?? ??? llm-d ????? ???? ????? ??? AI ?? ??? ???? ??? ?????.llm-d? vLLM? Inference Gateway ?? ?????, Kubernetes ?? ????? ?? ??? ?? ??? ?? vLLM? ??? ?????.
? ???? llm-d ????? ???? ?? NVIDIA Dynamo ?? ??? ?????.
?? ?? ??? ??
??? ?? ??? ??, ?????, ??? ?? ??? ?? ?? ?? ??? ????, ?? ?? ? ?? ?? ?? ??? ???? ??? ?????. ??, ??? ??? ????? prefill? decode ??? GPU ?? ?? KV ??? ??? ???? ???.
??? ???? ??? ??? ??? ?? llm-d? NVIDIA NIXL? ?????. NIXL? NVIDIA Dynamo? ???, ??? ???? ??? ??? ??? ???? ??? ?????? ????? ???? ??? ?? ? ?? ????????. ? ?????? ?? ???? ???? ? ???? ???, ??? ??? ? ??? ? ???·??? ??? ??? ?????. llm-d? ??? ??? ???? prefill? decode ? KV ?? ??? ??? ?? ?? NIXL? ?????.
Prefill? Decode? ??
?? LLM ?? ??? ??? ???? prefill ??? ???? ?? ?? decode ??? ??? GPU?? ?????. ? ??? ???? ?????? ???? ??? ?? ???? ??? ???.
??? ???? ? ??? ?? GPU? ??? ??? ?? ?? ????? ???? ??? ? ????? ??? ? ?? ????.
? ??? prefill? decode ?? ? ??? ???? ?????? ???. ???? ?????? ??? ???? ??? ??? ? ??? NVIDIA? vLLM ?????? prefill? decode ?? ???? ????? ??? ??? ??????.
???? NVIDIA? llm-d ????? ??? ??? ??? ??? ????, ?? ???? ? ??? ??? ?????.
?? GPU ??? ??
?? ?? ?(QPS) ?? ??? ??? ?? ?????? ??? ?? ??? ???? ???? ?? LLM ?? ???? ? ?? ????. ?? ?? ??? ?? ??? ??(ISL)? ?? ??? ??(OSL)? ?? ???? ??? ?????. ISL? ?? prefill GPU? ??? ???, OSL? ?? decode GPU? ? ?? ?????.
ISL? OSL? ?? ??? ????? QPS ?? ?? ???? ??? ?? ???? GPU ?? ??? ?????. ? ???? ???? ?? NVIDIA? llm-d ????? ??? Dynamo Planner ??? llm-d? Variant Autoscaler ??? ??? ?????. Dynamo Planner? LLM ??? ??? ????, ??? GPU? ??? ????? ?????? ?? ?????.
KV ?? ????
??? KV ??? GPU ???? ???? ? ?? ?? ??? AI ?? ??? ? ??? ?? ????. ? ??? ???? ?? NVIDIA Dynamo KV Cache Manager ??? llm-d? KV ?? ???? ??? ? ??? ????? ??? ?????.
Dynamo KV Cache Manager? ?? ???? ?? KV ??? CPU ???, SSD, ???? ???? ?? ? ??? ???? ????. ? ??? ?? ??? ?? ????? GPU ???? ?? ??? ??? ? ?? ????. Dynamo KV Cache Manager? NIXL? ??? ??? ???? ????, llm-d?? KV ?? ???? ????? ??? ? ?? ???.
NVIDIA NIM? ??? ???? AI ?? ??
????? ???? ?? ???? ???, ??, ??? ?? ??? ???? ??, NVIDIA NIM? NVIDIA? ????? ???? ?? ??? ?????. ???? SGLang, NVIDIA TensorRT-LLM, vLLM? ????, Dynamo ?? ??? ? ??? ?????. NVIDIA NIM? ????, ?????, ?????? ??? ??? AI ?? ??? ???? ??? ?? ??? ? ??? ??? ???? ?? ??????? ????, Red Hat OpenShift AI?? NVIDIA AI Enterprise ?? ????? ?? ?????.
NVIDIA? Red Hat? NVIDIA ?? ??? ???? Red Hat OpenShift? OpenShift AI? ???? ?? ?? ?? ???????. AI ?? ? ?? ??? ??, ??, ??? ????? ?? NVIDIA GPU Operator, NVIDIA Network Operator, NVIDIA NIM Operator? ?? Red Hat OpenShift?? ??? ???, OpenShift AI? ?????.
Red Hat? NVIDIA NIM? Red Hat OpenShift AI ?????? ????? ??????. Red Hat? ?? NVIDIA ?? ????? OpenShift ? OpenShift AI? ??? ? ??? ????, ?? NVIDIA? ??? NVIDIA GB200 NVL72 ???? ?? ?? ?? ??? ?? ????.
???? ?? ??? ?? ?????
NVIDIA? llm-d ????? ??? ???? ??? ? ?? ???, Red Hat Summit 2025? ????? ??? llm-d ??? ????, Google, Neural Magic, NVIDIA, Red Hat? ????? ??? ?? ??? ?????.
???? ?????? NVIDIA? ???? ???? ??? ?????. NVIDIA? ???? ???, Kubernetes ????? ? ?? ??, ???? ?? ? ??? ???? ????? ????? ???? ????.
AI ???? ????? GitHub?? llm-d? NVIDIA Dynamo ???? ??? ??? ???? ??? ??? ?? ???? ?? ?????.
?? ???
- GTC ??: NVIDIA Dynamo ??: ?? ??? ?? ?? ?? ??? ????? ??
- GTC ??: NVIDIA GPU?? ?? ???
- GTC ??: ?? ???? ???? LLM ??(NVIDIA Jetson AGX Orin 32GB)
- NGC ????: Phind-CodeLlama-34B-v2-Instruct
- SDK: Triton ?? ??
- SDK: Torch-TensorRT
