NVIDIA DeepStream ? NVIDIA TAO Toolkit? ??? ?? ? ?? ?? ?? ?????? ??

??? ????? ??? ??? ???? ???? ???? ??? ?? ???? ???? ? ????. ??? ?? AI ??????? ??????, ???? ? ????? ?????? AI ??????? ? ??? ???? ??? ? ?? ???? ??? ? ????. ??? ??????? ????? ??? ?? ??? ? ? ????.  

• ?? ? ?? ??? ?? ?? ??? ??
• ?? ??? ?? 
• ??? ??? ????? ? ???? ?? 
• ?? ??
• ?? ???

??? ??? ???? ??? ?? AI ??????? ???? ???? ???? ?? ?? ??? ?????. ??? ??? ??? ?? ??? ?? ???? ?? ??? ?????? ???? ???? ?? ???? ?? ??? AI ?? ??? ?????. ???? ??? AI ?? ??, ??? ?? ??? ? AI ?? ????? ??, ??? ?? ?? ???? ?? ?? ??? ? ????. 

NVIDIA? SDK ???? ??? ?????? ????? ? ??? ???. NVIDIA DeepStream SDK? ???? ??? ???? ??? ?? ?? ??? ??? NVIDIA TAO Toolkit?? ??? ?? ???? ??? ?? ? ????.

? ???? NVIDIA DeepStream SDK ? NVIDIA TAO Toolkit? ???? ?? ??? ??? ????? ?? ??(IVA)? ??? ? ?? ?? ??????? ???? ??? ?? ????? ?????. 

?? ? ?? ???? ?? AI ??????? ???? ??? ??? ????.

1. ?? ?? ? ??? ?? NVIDIA ?? ???? ??? ?????.
2. NVIDIA TAO Toolkit? ???? ?? ??? ?? ??? ?? ??? ?? ??? ??? ?????.
3. Apache Kafka? ???? ?? ?? ? ???? ?? ??? ?? NVIDIA DeepStream ?????? ?????. Kafka? ??? ??, ??? ??? ????? ? ??? ??? ??? ???? ?? ?? ?? ???? ??????. 
4. Kafka Consumer?? ?? ???? ??????? ????? ?????.
5. ??? ??? ???? ?? ??? ???? ?? Django ? ??????? ?????.

NVIDIA-AI-IOT/deepstream-retail-analytics GitHub ?????? ??? ???? ? ?? ??????? ???? ??? ?? ???? ? ????.

? ??? ?? ??? ?? 1? ?? ??? ???????. ? ????? ?? ??? ??, ????? ???? ?? ?, ?? ??? ?? ?? ?? ????? ?????.

?????? ???? ??

???? ?????? ???? ?? ? ???? ? ????? ??? ? ??? ???? ?? ????? ???????. 

NVIDIA DeepStream SDK

NVIDIA DeepStream SDK? ??? ???? ??? ???? ??? AI ??? ???? GPU ?? ?? ??? ???? ??? NVIDIA? ???? ?? ?????. DeepStream?? ??? ??? ? ??? ?? ???? ??????? ???? ????. ??? ???? ?? ??? ?? ??? ??? ??? ??? ? ??? DeepStream Docker ??? ??? GitHub? deepstream_reference_apps? ?????. 

? ???? ?? AI ??????? deepstream-test4 ? deepstream-test5?? ? ?? ???? ??????? ???? ???????. ?? 2? ???? DeepStream ??????? ????? ?????.

NVIDIA TAO Toolkit ? ?? ????? ?? 

NVIDIA TAO(Train, Adapt, Optimize) Toolkit? ???? ??? AI ?? ???? ??? ??? ??? ?? ?? ??? ? ????. TAO Toolkit? DeepStream ??????? ?? ???? ??? ?? ??? ?? ??? ?????. 

? ??????? ??? ????? ?? ??? ??? ???? ? ? ??? ?????. DeepStream? ??? ?? ?? TAO Toolkit? ?? ?????? ???? ??? ? ?? ????. 

TAO Toolkit? ???? ??? ?????. TAO Toolkit? CV ????? ??? 100??? ?? ??? ?? ?? ???? ?? ??? Jupyter ???? ?????. ?? TAO Toolkit? ?? ??, ?? ??, ?? ?? ?? ?? ???? ?? ??? ?? ??? ?? ???? ??? ?????? ?????. ????? TAO Toolkit ?? ??? ?????. 

???? ?? AI ?????? ?????

???? ?? AI ?????? ????(?? 3)? ?? ???? ?????.

??? ?? ??? DeepStream ?????:

• 1? ???: NGC? PeopleNet ?? ???? ??? ‘??’? ????? ??
• 2? ???: ???? ??? ?? TAO Toolkit? ???? ??? ?? ?? ????
• ?? ???: ?? ???? ???? ???? NvDCF ???(??? ????)
• ??? ???: ?? ????? ??? Kafka ???? ????? ???? ??? ???
• ??? ???: ?? ???? Kafka ???? ???? ??? ???

kSQL ??? ??????: ?? ?? ??? ?? ?? ???? ???? ? ??

Django ? ??????: kSQL ??????? ??? ???? ???? ?? ??? ?? ????? ???? ??? ???? RESTful API ? ? ????? ???? ??????

?? ? ?? NVIDIA GPU? ??? x86 ???? ?? ???????. ??? NVIDIA Jetson AGX Orin ?? NVIDIA Jetson ???? ???? ?? ??? ? ????. 

?? ????? ?????? ??? ?? ??? ?????. 

1??: ??? NVIDIA DeepStream ????? ??

?? ??? ?? ?????? ????? NVIDIA DeepStream ???? ??????? deepstream-test4 ? deepstream-test5? ?????. ????? ??? ????? ?? ??? ??? deepstream-retail-analytics GitHub ??????? ??? ? ????. ? ???? ?? ?????? ??? ?? ????? ????.

deepstream-test4 ??????? ?? ??? ??? NVDS_EVENT_MSG_META ??? ?????? ???? ??? ??? ??? ???? ?? ???? ???? DeepStream ????????. deepstream-test5? ????? ??????? nvmsgconv ? nvmsgbroker ????? ????, NVDS_META_EVENT_MSG ??? ??? ???, Kafka ? ?? ?? ??? ???? ?? ??? ?????? ??? ???? ?? ? ?? ????. 

??? ? ?????? 1? ?? ???? ??? 2? ???? ?????, ?? ???? ?? ?? ???????? ??? ????? ? ???? ??? ???? ? ??? ? ????. test4 ??????? ?? ?? ??? ????? nvmsgconv ????? ???? ? ?????. ??? ?? 2? ???? ?????? ???? ????? ?? Kafka ??? ?? nvmsgbroker? ???? test5 ??????? ?????. 

?????? ? ??? ?? ???? ??? ??? ???? ????, ?? 1? ?? ??? ?? deepstream-test4 ??????? ???? ??? ?????. ? ?? ??? PeopleNet ?? ???? ???? ????, ????? ?? ??? ??? ???? ? ???? ?????.

? ?? ??? ??, ??? ?? ??? ????? ??? ?????. ?? ?????? ??? ???? ?? ??? ?? ??? ?? ??? ???? ???? ?? ??? ? ????.

1? ?? ?? ??? ??????, deepstream-test5? ???? 2? ?? ?? ??? ?????. ? ?? ??? ??? ??? ????? ?? ??? ??? ?????.

2??: NVIDIA TAO Toolkit?? ???? ??? ?? ??? ?? ??

? ????? TAO Toolkit? ???? ?? ?? ??? ?? ???? PeopleNet ???? ??? ??? ????? ?? ??? ???? ??? ?????(?? 4). 

????? ?? ??? ?? ?? ???? ???? ???? ???? ??? ???. ??? ?? ?? ??(CVAT)? ???? ??? ???? ?? ??? ?? ???? ??? ???.

• hasBasket: ??? ????? ?? ??
• noBasket: ??? ????? ?? ?? ??

? ??? KITTI ??? ?????? ????, ?? ??? ?? ??? ???? ???? ??? ??? ???. ?? ??? ??? ???? ???? GitHub?? ?? ‘kitti_to_classification’ Python ??? ???? ?????? ?????. ??? ??? ?? ??? ??? ? ????.

? ??, TAO Toolkit? ???? Resnet34 ??? ?? ??? ?? ???? ???? ???? ??? ?????. ?? ?? ????? ?? ??? ??? GitHub? deepstream-retail-analytics/tree/main/TAO? ?????.

??? ??? ??? ? ??? ???? ? ??? ???? ????? ?????.

3??: Kafka ??? ???? ???? ??? ??? ?? ???? ??

1? ?? ?? ??? 2? ?? ?? ??? ???? DeepStream ??????? ? ?? ???? ?? ? ??? ???? ???. deepstream-test5 ???? ??????? ????? ???? Apache Kafka? ???? ???? ???????. 

??? Kafka ??? ???? ???? ???? ?? DeepStream? ??? Kafka ???? ?????. ? ??? ?? ?? ?? ? ????? Kafka ???? ???? ??? ?? ?? ???? kSQL ??? ??????? ?????.

DeepStream?? ???? 1? ?? ??? ???? ???? ???? ??? ? ?? ??? ?? Kafka ??? ?? ????? ??? ????. ? ??????? 2? ???? ?? ??? ????? ? ?????? ??? ?????. ??? ?? ?? ? ???? ??? ?? ???? ?????? ? ??? ???.

?? DeepStream ??????? 1? ????? ???? ??? ???? ? ???? NvDsPersonObject? ???? ????. ???? ??? ??? ???? ???? ????? ?? ?? ??? ??? ?? ??? hasBasket ??? ????? ? ???? ?????. ??? ??? GitHub? deepstream-retail-analytics/tree/main/nvmsgconv?? ?????.

???? ??? ????? NvDsPersonObject? ??? ? ?? 5? ??? ?????? ???? ???? ?? ??? ??? ????? ?????.

?? 5? ?????? ??????? ? ? ??? ?? ?? ? ??? pgie? sgie? ???? ??????. ?? 1? ? 2? ?? ????, nvinfer ????? ?????. nvtracker? ?? ???? nvosd ?????? ?????. ? nvosd ????? ?? ???? ??? ?? ??? ??? ??? ??? ?????.

??? ??, ?? ???? ???? ? ?? ???? ??? ????? ???? ???, ??? Kafka ??? ???? ??? ???? ??? ? ??? ??? ? ????. eventmsg_payload ??? ????? ????? NvDsPersonsObject(??? ???)? ?????.

?? ??? ??? ???? ?? ??? ????? ?? ?????. ??? ???? Kafka ???? ???? ???? DeepStream ??????? ??? ??? ?? ? ??? ?? Kafka ??? ???? ???? ???? ?????. ??? ?? ?? ??? ????? ?????.

?? DeepStream ?????? ??????, ???? ?? ???? kSQL ??????? ???? ? ??????? ?????. Django ?????? ???? ???? ? ? ?? ?? ???? ???? ?? ??? ?? ??? ?? ???? ?????. ? ???? GitHub? deepstream-retail-analytics/tree/main/ds-retail-iva-frontend? ??? RESTful API? ?? ??? ? ????. 

API ??? ???? ?? ?? ??? ??? ????? ??? ?? ? ????? ??????. ? ????? ??? ????? ???? ???? ?? ??? ??? ???. 

??

???? NVIDIA DeepStream? NVIDIA TAO Toolkit? ???? ?? ? ?? ???? ?? ?? ?????? ?? ???? ??? ???????. ? ?????? ????? ??? ?? ??? ???? ???? ???? ? ??? ? ?? ??? ??? ?? ? ??? ???. 

? ?????? ???? ?? ??? ??? ???? ????? ???? ??? ? ????? ??????. ?? 1?? ? ? ??? ? ????? ??? ?? ??? ?????.

• ?? ?? ??? ?
• ????? ?? ???? ??? ??? ?? ??? ??? ?? ??
• ?? ??? ??? ?
• ?? ??? ???
• ?? ?? ???

? ??? ???? ? ? ?? ?? ??? ?? ??? ????? ??? ???? ?? ??? ? ????. ????? ? ??? ???? ?? ?? ??? ??? ???? ?????? ?? ??? ??? ? ????. 

?? ??, ?? 6? ?? ?? ?? ? ??? ???? ??? ??? ????? ?? ?? ??? ??? ?? ??? ??? ?? ?????. ? ?? ??????? ??? ??? ????? ????? ?? ?? ???? ????? ?? ??? ? ????. ? ??????? ?? ???? ???? ?? ????. 

? ??????? hasBasket? ??? ???? ????? ?? ?? ?? 11? ????, ????? ?? ?? ?? ?? ??? noBasket?? ?????. ???, ?? ??? ? ?? 1? ????? ?? ?? ??? ???? ????. ??? ? ??? ?? ??? ??? ?? ?? ? ?? ??? ?? ?? ??? ????? ????? ???????? ? ? ????.

?? 

? ?????? NVIDIA TAO Toolkit? NVIDIA DeepStream SDK? ???? ?? ??? ???? ?? AI ??????? ???? ?? ? ?? ????? ???????. ?????? ??? ??? ?? ?? ???? ???? ??? ?? ?? ??????? ??? ? ????. ??? ?? ????? ??? ? ??? ?? ??? ? ???? ??? ?? ???. ??? ? ??????? ??? ???? ?? ???? ??? ? ?? ??? ?? ???? ??? ?????.

GitHub? ?? ?? deepstream-retail-analytics ???????? ??????.

? ???? ??? SDK? ???? ?? ???, ?? ???, ?? ??, ??, ?? ??, ???? NVIDIA ??? ???? ??? ??? ??? ??? ? ????. ?? ??? ???? NVIDIA? ?? ????? ???? ? ??? ??? ??? ?????? ???? ??? ??? ???.