AI ?? ??? ??? ??? ??? ???? ?? ??????? ??? ???? ????. ??? ?? ???? ??? ??, ??? ??, ??? ??, ??, ?? ??? ? ?? ??? ?????.
??? ??? ????? ??? ??? ??? ???? ?? ?? ??? ?? ???? ????. ?? ?? ????? ????? ??? ?? ??? ??? ???? ?? ?? ??? ?? ????. ??? ??? ??? ?, ??????? ?? ???? ??? ?? ????? ???? ? ???? ??? ????.
AI ?? ??? ?? ??????? ????? AI ?? ??? ??? ??? ??? ? ??? ??? ????, ?? ?? ????? 50~80%? ?? ? ????. ??? ??? ???? ???? ??? ????:
- ?? ??
- ???
- ???
- ??? ??
- Tensor ??
???? ??????? AI ?? ??? ?? ????? ?? NVIDIA GPU? ??? ? ???, ??? ? ???? ??? CPU ?? ?????? ???? ?? ??????. ?? ?? ?? AI ?????? ??? ?? ??? ?????. ????? AI ??? ?? ??? ?? ?????? ??? ??? ? ??? ????? CPU?? ?? ??? ???? ?? ??? ??? ?? ? ????.
CV-CUDA ???
CV-CUDA? ???? ???? ??? AI ??? ?? ?????? ??? ? ?? ?? ?? ????????. ? ?????? GPU ?? ??? ?? ? ??? ?? ??? ???? ??? ??? ?????? ???? AI ?????? ?? ???? ??? ? ??? ??? ?? ??? ? ??? ???.
CV-CUDA? ??? ??, ???? ??, ??, ??? ?? ? ??? ???? ??? ?? ?????? ??? ? ????. ??? ??? 2022? ?? NVIDIA GTC? ???? ?????.
? ?????? ???? AI ??? ?? ????? ????? GPU ???? ???? CV-CUDA? ???? ?? ???? ?? 5??? ?? 50??? ???? ? ?? ??? ??????. ?? ?? ?? ?? ??? ??? ???? ??? ???? ?????? ??? ??? ?? ?? GWh ??? ? ????.
GPU ???? ???? CPU ?? ??
CV-CUDA? ??? ?? ??? ?? ??? ???? ??? ???? GPU ?? ??? ?????. ??? ??? ??? ? ??? ?????? ????? ???? ???? ?? ??? ? ????.
??? ? ??? ??? ??????? ???? ?? ??? ? ? ????. ???? NVIDIA ??? ???? ?????(VPF)? ???? ??? ??? ????? ????? ??? ? ????. VPF? C++ ?????? ?? Python ???? ??? NVIDIA? ?? ?? ????????. GPU?? ??? ??? ? ???? ?? ??? ???? ??? ?????.
GPU?? ?? ????? AI ?????? ??????(?? 2), ???/??? ???? ?? VPF ? ?? ?? ???? ?? TensorRT? ?? CV-CUDA? ?????. ???? ??????? CPU ?? ??? ???? 4?? NVIDIA L4 GPU? ???? ????? ???? ?? 50??? ???? ? ????.
?? ??? ?? DNN? ???, ??? ??? ? ??? ??, ????? ?? ??? ?? ?????. ?? GPU ??? ???? ??? ?????? ?? ?? ?? ??? ????? ??? ??? ??? ? ????.
CV-CUDA? ???? ???? ??
CV-CUDA? GPU? ??? ???? ???? ?????:
- ?? ???? GPU ???? ?? ??? ???? ?? ?? ??? ??? ??
- ??? ??
- ?? ?? – ??? GPU ??? ???? ??? ??? ???? ???? ??? ?? ? ?? ?? ??? ??????.
- ??? ??? ???? ????? ?? ?? ???? ???? ??? ??? ??? ??
- ?? ???, ?? ??, ?? ??/?? ??
?? ??: ??? ??? ?????? ????? ???
??? ?? ??????? ??? ???? ??? ??? ?? ???? ???? AI ?????. ?? ??, ?? ??? ?? ?? ?? ?? ?? ????????? ??? ???? ??? ??? ??????.
? ????? ??? ?? ???? ??? ?? AWS? NVIDIA T4 ?? ?? GPU ????? ???? ????? ??? AI ??? ??? ?????? ?? ??? ?? ?????. ????? ??? CPU? ?? ?? ???? 8362???.
?? ????? AI ?????? GPU?? ???? ??? ?? ??? ??? ? ????. ?? ?? ??? ?????? ??? ??? ?? ??? ????? ??? ??? ??? ??? ?? ?????.
??? ???? ?? ? ?? ?? ?? ????? GPU?? ????? ????, CV-CUDA AI ?????? ?? GPU? ??? ?????? OpenCV? ??? CPU? ??????. ?????, AI ?? ???? ???? ?? ResNet-101 ??? ??? ?? ?????(?? 2)? ??????.
? ????? ?? ????? ??????? ?? ??? ?? ?? ??? ?? ???? ??????. ?????? ?? ??? ???? ????(?? 4):
- ??? ???
- ?????, ???, ?? ???? ?? ??? ??? ?? ??
- PyTorch? ??? ??
- ?? ???, ????, ??? ??, ????, ??? ?? ??? ??? ???
- ??? ???
CPU? GPU ????? ???? ?? ????? ?? PyTorch? TensorRT? ???? GPU?? ????? ??????.
?? ?????? ??? ???? ??? ????? ??? OpenCV? PyTorch(GPU)? ???????. ?? ???? ???? 1080p?? ?? ??? 1? 474?? ????? ?????. ? ??????? GPU? PyTorch ??? ???? ???? ??? ????? CPU ???? ??????:
- ???? OpenCV/ffmpeg? ???? ??????.
- ???? ???? OpenCV? ???? ?? ??? ? PyTorch ?? DNN? ???? ?? ??? ????? ???? ???? ?????.
- ??? ????? ?? ??? ?? ???? ?? ???? ?? ??? ??? ???? ???? ???, ??? ?? ??? ??? ????.
GPU ?? ?????(?? 4)? ?? CV-CUDA ?????? ???? ???? ??? ??? ??? ??? ????, ??? ???? ??RT ?????? ??????. ?? ?????? ???? ??? ??? VPF? ???? GPU?? ???????.
?? 5? ? ??? ??? ????? ??? 132????? ? 10???? ?????? ?? ??, GPU ?????? ??? ??? ?? ?? ??? ?????. ?? NVIDIA T4 GPU? ??? CV-CUDA ?????? CPU ?????? ?? ? 13? ? ?????.
? ??? ?? ???? ?? ???? ?? ?????? ?? ?????. ?? ?? ???? ??? ???? ?? ?? ????? ?????? ??? ???? ?? ??? ????? ? ?? ???? ??? ? ???? ??? ???? ?? ??? ? ????.
CV-CUDA? ???? ??? ? ? ???? ?? ??? ????(T4 GPU 1?, L4 GPU 1?, T4 GPU 4?, L4 GPU 4?)?? GPU ?????? ??? ?????.
?? ??? NVIDIA L4 Tensor ?? GPU? NVIDIA Ada ????? ????? ???? ???, AI, ??? ???, ??? ? ???? ?? ???? ??? ???? ???? ?????.
?? 6?? ?? T4 GPU? ????? ??? ?? ??? CPU ?? ?? ? 5???, ??? L4 GPU??? ? ??? ? 12?? ?? ?????. ?? GPU ????? ???? ??? ?? ????? ?????(?: 4?? T4 GPU? 4?? L4 GPU?? ?? ~19?, ~48?).
?? ???? ??? ??? ???? ???? ?? ??? ???? ???? ?? 500??? ???? ????? ???? ??? ????? ??????. ?? ???? ??? ??, T4 GPU? ?????(L4 GPU? ?? ?? ??) Amazon EC2 G4 ????? ?? 1? ?? ??? ??????.
?? ??? ?, ? ?? ??? ????? ?? ?? T4 GPU? ?? ??? CPU ?????? ? 1/5 ?????. ??? ??? ????? ?? ???? ???? ?? ?? ??? ?? ??? ?? ??? ?????.
?????? ?? ??? ??? ????? ???? ? ??? ????? ??? ?? ??? ??? ??? ??? ??? ??? ??? ?? ??? ???? ?? ?????.
?? 6(???)? ? ????? ???? ???? ??? ??? ????? ?? ??? ?? ?? ???? ???? ?? ??? ???(GWh)? ??? ????. ?? L4 ???? ??? ???? CPU ??? ? 1/12 ?????. ?? ???? ?? ????(?? 500?? ??? ???)? ?? ?? ??? ???? ?? GWh? ?? ??? ?????.
??? ??? ???? ?? ? 11,000??? ???? ?? ?? ???? 1?? ???? ???? ???? ???? ?? ?? ??? ?? ?????.
CV-CUDA ?? v0.3.0? ??
?? CV-CUDA? ???? AI ??? ?? ????? ???? ? ?? ? ?? ??? ??????, ?? ?? ? ??? ?????:
- ?? ??: GitHub? Apache 2.0 ???? ?? ?? ?????.
- ???? ???: CV-CUDA? AI ??? ?? ????? ??? ? ??? ??? ????? ???? 30? ??? ?? ???? ?????. ??? ?? ??? ??? ???? ?? ??? ?? ?? ?????? ?? ??? ? ????. ???? ????? ConvertTo, ??? ???, ???, ????, ??, ?? ?? ?? ????. ??? ??? CV-CUDA ??? ????? ?? ??? ?????.
- ??? ???: CV-CUDA ?? v0.3.0? ??, ?? ??, ?-?? ??, ???, ??? ???? ?? ??? ???? ?????.
- NVIDIA Triton? ??? ???: ?? ?? ??????? ???? ??? ?? ?????? ??? ? CV-CUDA? ??? ???? ??? ? ????.
- ??? API: CV-CUDA?? C/C++ ? Python? API? ???? ????.
- ????? ?????: PyTorch ? TensorFlow? ?? ?? DL ?????? ?? ???? ?? ?? ?? ?????? ?????.
- ?? ??: ?? CV-CUDA ???? ????? GPU ???? ??? ??? ???? ? ????.
- ???? ??? ??? ?? ??: CV-CUDA? ??? ??? ?? ??? ?????.
- ?? ??????: ????? ?? ??? ??, ?? ??, ??? ?? ?? ??????.
- ?? ?? PIP ??.
- ??, ???? ? API ?? ???.
CV-CUDA ???? ??
CV-CUDA? ?? ?? ???(v0.3.0)? ?? GitHub?? ?????.
CV-CUDA? ???? ??? ? ??? ?? ??? ???? ?????? ??? AI ??? ?? ????? ???? ? ??? ?????. Python ???? ? ?????? PyTorch ? TensorFlow? ?? ???? ? ?? ?????? ?? ?? ?? ?????? ?? ?? ?????? ?? ??? ? ????.
CV-CUDA? VPF ? TensorRT? ?? ??-?? AI ????? ?? ????? ??? ?? ? ??? ??? ?????. ??? ???? ?? ?? ??? ?????:
??? ??? ?? ???? ?????:
- CV-CUDA ??
- ????, ???????, ???, ???? ??? ?? AI? ?? CV-CUDA? ????? ????
- ???, CV-CUDA? ???? AI ??? ? ??? ?? ? ???(???)
- CV-CUDA? AI ?? ??? ? ??? ?? ?????? ??? ? ??? ?? ?? ????(???, ?? ?? ??)
- ?? ?? ??? ?? AI ?? HD ? ??(???, ?? ?? ??)
- NVIDIA ????? ??? GPU ?? ????? ??? AI ?????? ???(???, ?? ?? ??)
- FastDeploy: ?? ??? AI ?? ?(??? ??)(???, ?? ?? ??) (???, ?? ?? ??)
- ??? ?? SDK, CV-CUDA ? GPU? TensorRT? ???? ?????? ?? ??? ?????? ???(??? ???, ?? ?? ??)
CV-CUDA? ?? ???? ?? ?????? ?? ?? ???? ??? ????. ???? ??? ???? ????.
? ???? ??? SDK? ???? ?? ???, ?? ???, ?? ??, ??, ?? ??, ???? NVIDIA ??? ???? ??? ??? ??? ??? ? ????. ?? ??? ???? NVIDIA? ?? ????? ???? ? ??? ??? ??? ?????? ???? ??? ??? ???.
