NVIDIA? ?? Windows ?????? ???? Windows ??????? AI ??? ???, ??? ? ??? ? ?? ?? ? SDK? ???? NVIDIA RTX AI Toolkit? ??????. ??? ??? ? ?? AI ????? ? ?? ??? ?? ?? ??? ???? ??? ?? ? ???? ?? ??? ??? AI ??? ?????.
GPT(Generative Pretrained Transformer) ??? ???? ??? ??? Windows ???? AI ??? ?? ??? ? ?? ? ??? ?????. ??? ??? ??? ???? ?? ??? ??? ???? ?? ? ????. ??, ??????? ???? ?? ??? ????? ??? ????? ???. ??, ??? ??? ????? ???? ????? ?? ??? ????? ???. ??, ????? ?? AI ??? ??? ??? ?? ??? ?????.
NVIDIA RTX AI ??? Windows ? ???? ?? ?? ? ?? ?????? ?????. Hugging Face? ?? ?? ??? ????, ??????? ?? ??? ????? ?? ?? ?? ?? ??? ??? ?????, ??? PC? ?? ???? ? ????. ?? ?? NVIDIA GeForce RTX GPU ?? ???? ????? NVIDIA GPU?? ??? ??? ????? ???? ? ????.
?? ? RTX AI ??? ???? ??? ??????? ??? ???, ? ??/???? ? ???????, ???? ???? ???? ???? ? ??????? ?? ??? ?? ?? ??? ?????. ? ???? ?? ???? ??? ?? ?? ?? ????? ?? ?? AI? ?? ?? ?????? ??? ? ??? ???? NVIDIA AI Inference Manager(AIM) SDK? ???? ????.
?? ??????? ?? ??? ??? AI
???? ??? ??? ??? ?????? ?????. ? ???? ???? ?? ??? ?? ?? GPU? ???? ? ?? ??? ? ????. ???? ???? ??? ??? ???? ??? ? ??? ?? ?? ?? ?? ????? ??? AI ??? ??? ? ????.
?? ??? ???? ?? ?? ?? ??? ?? ???? ??? ??? ?????. ?? ?? ??? ???? ??? ??? ??? ? ????. ??? ???????? ??? ??? ??? ??? ????. ?? ?? ?? ???? ??? ???? ??? ??, ?? ?? ???? ?? ??? ???? ???.
?? ??? ?? ??? ?? ??? ???? ?? ???? ?? ??? ??? ??? ????? ?????. ?? ???? ?? ??? ?? ? ? ????.
RTX AI ???? NVIDIA AI Workbench? ?? ?? ??? ???? ??? ???? ????. ?? ?? ??? AI Workbench? ?? RTX GPU? ???? ???? ?? ??, ??, ??? ????? ???? ???? ?????. RTX AI ???? ??? ?? ?? ?? ???? ?? ? ??? QLoRA? ???? ?? ??? ? ?? AI Workbench ????? ???? ????.
???? ???? ?? ??? ?? ? ??? Hugging Face Transformer ?????? ???? QLoRA? ???? ? ?? ???? ????? ???? ????, RTX GPU? ??? ????? ?????? ????? ??? ? ????.
?? ??? ???? ?? ??? ??????.
PC ? ????? ?? ???
AI ?? ????? ? ?? ?? ??? ????. ??, PC?? AI ??? ???? ?? ???? ??? ???? ???? ????. ??, PC? ???? ???? ??? ??? ?? ?? ????? ????? ?????.
RTX AI ???? AI ??? ????? ??? ???? ?? ??? ?? ??? ???? ????.
NVIDIA TensorRT Model Optimizer: ??? ?? LLM??? 14GB ??? RAM? ??? ? ????. ???? ?? ???? Windows? NVIDIA TensorRT Model Optimizer? ???? ?? ??? ?? ??? ?? 3? ?? ???? ? ?? ??? ?????. ???? RTX GPU?? ??? LLM? ?? ??? ? ??? INT4 AWQ ?? ? ???? ?? ??? ?????. ?? ?? ??? ??? ?? ????? ?? ??? GPU ???? ? ?? ?? ? ?? ?? ??? ??? ??? ?? ??? ?? ??? ?????.
NVIDIA TensorRT Cloud: ?? ????? ??? ??? ?? ?? ? GPU? ?? ??? ??? ???? ? ????. ??? ???? ???? NVIDIA TensorRT Cloud? PC? RTX GPU? ????? GPU? ???? ?? ??? ???? ?? ???? ??????. ?? ?? ?? ??? AI ??? ?? ?? ???? ???? ??? ??? ????, ?? ?? ??? ???? ???? ???? ??? ??? ? ????. TensorRT Cloud? ???? TensorRT ????? ???? ??? ?? ?? ??? ?? ?? 4? ?? ??? ??? ? ????.
?? ??? ??? ????? ?? ??? ?????.
? ?? ??? ???? ?? ??
??????? ?? ?? ?????? ??? ??? ? ?? ??? ??? ???? ????? ??? ??? ??? ? ????. ????? ??? ??? ?? ??? ??? ? ???, ??? ???? ???? ???? ??? ???? ??? ??? ???? ?? ??? ????. ????? ??? ??? ?? ?????? ???? ??????? ??? ? ??? ??? ????? ??? ?? ??? ????? ???. ??? ???? RTX AI ??? ???? ???? ??? ? ??? ??? ??? ??? ?? ????? ? ???? ??? ?? ?????.
NVIDIA AI ?? ???(AIM): ?? ???? ???? AIM? PC ???? ?? AI ??? ???? ????? PC? ???? ???? AI ??? ???? ?????. NVIDIA AIM? ??? AI ??, ?? ? ????? PC ??? ?? ???? GPU, NPU ? CPU? ??? ??? ??? ???? ?? ?? ?? ???(TensorRT, ONNX Runtime, GGUF, Pytorch)? ?????. ?? ??? ??? ??? ???? PC? ??? ??? ?? ??? ???? ????? ????? ??? ? ??? ?????.
NVIDIA AIM? ?? ???? NVIDIA NIM? ???? ????? ????, TensorRT? ?? ??? ???? ?? ????? ??? ? ????.
NVIDIA NIM: NVIDIA NIM? ????, ?????, ?????? ???? ??? AI? ??? ?????? ??? ???? ?? ??? ??????????. NIM? NVIDIA AI Enterprise ????? ???? ??? ?????. RTX AI ??? ???? ??? ???? ?? ?????, ???? ??? ???? ??, NIM? ???? ??? ?????. ??? ?? ???? ??? ???? ???????? ??? ?????? ?????.
??? NVIDIA AI Inference Manager(AIM) ????? ???? ????? ??? ?? ????. ?? ?? ?? ? ???? ??? ?? ??? ???? ???? ?? ??? ?? ? ????.
NVIDIA TensorRT: NVIDIA TensorRT 10.0 ? TensorRT-LLM ?? ???? Tensor ??? ?? NVIDIA GPU? ?? ??? ??? ?????. ?? ??? TensorRT 10.0? Windows ??????? ?? AI ??? ??? ??????. ???? ??? ??? ???? ???? ?? ??? 99% ??? ??? ? ???? ?? ??? ?????? ?? ?? ???? ?? ?? ? ????. ??, TensorRT? AI ??? ??? ??? ?? ?????? ??? ? ??? ????? ? ???? ??? ???? ?????. TensorRT-LLM?? RTX GPU?? ??? AI LLM ? SLM? ????? ?? ?? ???? ???? ?? LLM ??? ?? ?????.
???? ??? ??? ?? ?????? ???? ??? ???? ??? ? ????.
RTX AI ??? ?????
Adobe, Blackmagic Design, Topaz Labs ? ?? ?????? ISV? NVIDIA RTX AI ??? ??????? ???? RTX PC?? ???? AI ?? ?? ???? ???? ??? ?? ??????? ??? ??? ??? ???? ????.
RTX PC?? ???? RAG ?? ? ???? ?? ?????? ???? ?? ?? LangChain ? LlamaIndex? ?? ??? ?????? ?? RTX AI ??(TensorRT-LLM ?)? ??? ?? ??? ???? ? ????. ??, ?? ?? ????? ??(?: Automatic1111, Comfy.UI, Jan.AI, OobaBooga, Sanctum.AI)? ?? RTX AI ??? ?? ??????. ??? ??? ?? ???? AI ?? ?? ?? ????, ????? ? ???? GPU? ????, ? ??? ????? ??? ????? ?? ? ???? ???? ??? ??? ? ????.
Windows ??????? ???? ??? AI
NVIDIA RTX AI ??? Windows ?????? ???? ?? ?? ??? ????, ??? ??? ? ?????, ?? ?? ?????? ????? ??? ? ?? ?? ? ?? ?????? ?????. ??? ??? ????? AI? AI ?? ??????? ? ????? ??? ??? ???? ??? ??? ??? ? ??? ?????. RTX AI ??? ???? ? ?? ????? ? ?? AI ?? ??? ???? ????? ???, ??? ??? ????? ?? ???? AI? ??? ?? ? ????.
???? ??? ? ??? NVIDIA RTX AI ??? ? ??? ?????.
?? ???
- DLI ??: ??? AI ?????? ??
- GTC ??: Dell AI ?? ?????? ? NVIDIA AI Workbench? ?? ??? ??? ???
- GTC ??: ?? ?? ?? ??? ?? ??? ??? ???? ??? AI ??
- GTC ??: ??? AI ???? ?? ???? ??? ??? ???
- SDK: TAO Toolkit
- SDK: NVIDIA Tokkio
