NVIDIA Jetson?? ??? AI? ??? ????

Reading Time: 7 minutes

?? NVIDIA? ???? NVIDIA Jetson ?? ????? ?? ?? ???? ??? AI? ??? ???? ??? ? ??? ???? Jetson Generative AI Lab? ??????. ?? ???? ???? ?? Jetson? ??? ?? ??(LLM), ?? ?????? ??? ? ??? ???? ????? ??? ? ????. ???? ??? ???? ?? ? Llama-2-70B ??? Jetson AGX Orin? ?????.

*?? 1. Jetson AGX Orin?? ?? ??? AI ??? ?? ?? ??*

Jetson?? ?? ??? ??????? ???? ?????? Jetson Generative AI ??? ???? ????? ???? ?????. ?? ??? ???? ??? AI? ??? ???? ???? ? ??? ? ????

? ?????? ??? ?????? ????? ??? ?? Jetson ???? ???? ??? ? ?? ???? ??? AI ??????? ?????.

????? ??? AI

??? ???? AI ???? ?? ??? ??? ??? ?? ??? ???? ????:

??? ?? ??? ? ? ?? ??? ?? ??(LLM).
???? ?? ?? ??? ???? ??? ? ?? ??? LLM? ???? ?? ?? ??(VLM).
??? ??? ????? ?? ??? ???? ???? ?? ??.

??? ??? AI? ??? ?? ???? ???? ???????. ??? ??? ??? ?? ??? ???? ???? ??? ???? ??? ??? ?? ??? ???? ????? ???? ?? ??? ????. ??? ???? ?? ?? ??? ????? ??? ??? ??? ??? ?? ?? ?? ??????? ?? ??? ?? ????.

??? 1. ??? ??? ??? AI ??? ???? NVIDIA Jetson Orin

?? ???? LLM ? ?? ??? ??? ???? ??? ???? ??? ???? ??? ???? ????. Reddit? r/LocalLlama? ?? ???? ??? ????? ????? ??? AI ??? ?? ??? ?? ??????? ?? ??? ? ?? ???? ?????. Medium? ?? ???? ??? ??? ?? ????? ?? ???? ?? ?? LLM? ??? ?? ???? ?? ??? ??? ???, ? ? ??? NVIDIA Jetson? ???? ????.

Jetson Generative AI Lab? ?? ??? AI ?? ? ??????? ???? Jetson ???? ???? ??? ???? ?? ??? ???. ?? ?? ??? LLM? ???? ??? ?????? ???? ??? ??? ????? ???? ? ? ??? ?? ??? ???? ?? NVIDIA? ?? ??? ???? ?? ???? ?? ????? ?? ???? ????. ?? ?? ?? ????? ?? ??? ????? ?????.

? ???? Jetson ??? ????? ???? ?? ???? ???? ???? ?? ???? ?? ?? ????? jetson-containers???. ? ????? GitHub Actions? ???? CI/CD ???? 100?? ????? ???? ????. ?? ?? ?? ??? ?????? ???? ???? ?? ?? AI ??, ????? ? ??????? Jetson?? ??? ???? ? ????.

Jetson Generative AI Lab? Jetson ????? ???? Jetson? ?? ?? ???? ??? AI? ??? ???? ???? ? ??? ? ????.

??? ???

??? Jetson Generative AI lab?? ??? ? ?? NVIDIA Jetson ???? ???? ? ?? ???? ??? AI ?????????.

???? ??? ??(stable-diffusion-webui)

A1111? stable-diffusion-webui? Stability AI?? ??? Stable Diffusion? ?? ??? ???? ?????? ?????. ?? ?? ??? ?? ??? ??? ??? ? ????:

Txt2img: ??? ????? ???? ???? ?????.
img2img: ?? ???? ?? ??? ?????? ???? ?????.
????(inpainting): ?? ????? ????? ??? ??? ????.
?????(outpainting): ?? ???? ?? ??? ??? ?????.

? ?? ?? ??? ? Stable Diffusion v1.5 ??? ???? ??????? ??? ??? ?? ??? ? ????. Jetson Orin ????? ?? ?? ????? ??? ?? ?? ??? ????? ?? ???.

git clone https://github.com/dusty-nv/jetson-containers
cd jetson-containers
./run.sh $(./autotag stable-diffusion-webui)

stable-diffusion-webui ??? ?? ??? ??? Jetson Generative AI ? ????? ?????. Jetson AGX Orin? ? ??? ??? ?? ?? ???? ??? ?? SDXL(Stable Diffusion XL) ??? ??? ? ????.

??? ?? ??(text-generation-webui)

*?? 3. Jetson AGX Orin?? Llama-2-13B?? ??? ??*

Oobabooga? ??? ?? ??? ?? ???? LLM? ???? ?? ? ?? ?? ?? Gradio ?? ? ????????. ?? ???????? ???? ??? ?? ????? ?????, jetson ????? ?? ? ?? ??? ?????.

? ?????? ???? ?? ??? ?? ??????? ??? ?? ????? ? ????. 4?? ???? ???? ????? Jetson Orin Nano? 7B ???? ???, Jetson Orin NX 16GB? 13B ???? ???, Jetson AGX Orin 64GB? ?? 70B ???? ??? ??? ? ??? ?? ??? ???? ?????.

?? ?? ???? ?? ? ??? ??? ?? ???? Meta? ?? ?? ??? ?? ??? Llama-2? ???? ????. ??? ?? ??(SFT) ? ?? ???? ?? ?? ??(RLHF)? ?? ??? ???? ??? Llama-2 ?? ??? ????. ?? ??????? ??-2? GPT-4? ????? ??? ????.

??? ?? ??? ?? ??? ???? ???? ?? ?? ??? ??? ? ????. ??? llamaspeak ???? ? ? ??? ??????? ???? ? ??? ? ????. ?? Llava? ?? ???? VLM? ???? ?? ??? ?????.

??? ??-?? ??? ?? ??? ??? Jetson Generative AI ? ????? ??????.

llamaspeak

Llamaspeak? ??? NVIDIA Riva ASR/TTS? ???? ??? ?? ????????, ???? ?? ?? LLM? ?? ??? ??? ? ????. ?? ?? ????? ??? ?????.

???? ?? ?? ?? ??? ????? LLM? ? ?? ?? ???? ??? ??? ????? ?? ?????. ??, ?? ??? ????? ????? ??? ???? ??? ??? ? ???, llamaspeak? ??? ??? TTS? ???? ???? ??? ??? ? ????. ???? ???????? Riva, LLM, ?? ??? ?????.

*?? 6. ? ?????? ASR/LLM/TTS ?????? ?????? ??? ?? ?? ??*

llamaspeak? ???? ??? ?? Jetson ??? ??? ????? ?? ??? ?? ??? ????? ???? ??? ?????? ??? ????. ?? ???? ??? ?? ??? ??? jetson-containers ???? ?????.

NanoOWL

?? ?????? ??? ?? ?? ???????(OWL-ViT)? ?? ????? ??? ??? ?? ??? ?? ?? ?????. ? ??? ???? ?? ??? ?? ??? ????? ???? ??? ??? ? ????.

?? ?? ??? ???? ????? ???? ???? ???? ???? ???????:

prompt = “a person, a car”

?? ??? ??? ???? ?? ?? ??? ??????? ??? ???? ? ?? ?????. ???? ??????? ???? ???? ?? ??? ?? ? ??? NVIDIA TensorRT? ????? ????? NanoOWL? ???? NVIDIA Jetson Orin ????? ??? ??? ??????(Jetson AGX Orin?? ~95FPS ??? ??). ? ??? ???? ??? ??? ??? ?? ???? ??? OWL-ViT? ??? ? ??? ?????.

?? ? ?????? ??? ?? ?? ?????? ???? ?? ???? OWL-ViT ??? CLIP? ???? ?? ???? ?? ? ?? ? ??? ??? ? ????. ?? ?? ??? ???? ?? ?? ???? ????? ?? ????? ?????:

prompt = “[a face (happy, sad)]”

??? ??? ?? ? ?? ???? ?? ??? ????? ?? ????? ?????:

prompt = “[a face [an eye, a nose, a mouth]]”

??? ?????:

prompt = “[a face (happy, sad)[an eye, a nose, a mouth]]”

??? ?? ?????. ? ??? ???? ?? ??? ???? ? ??? ? ???, ??? ?? ??? ??? ????? ??? ????? ???? ???? ??? ? ????. ???? ?? ?? ??????? ???? ?????!

???? ???? ??

*?? 8. Segment Anything ??(SAM)? Jupyter ???*

??(Meta)? ???? ????? ????? ???? ??? ?? ??? ???? ???? ???? ? ??? ??? ?? ??? ??? ??? Segment Anything ??(SAM)? ??????.

?? ??????? ??? ??? ?? ??? ? ?? Jupyter ???? ???, Jetson ?????? Jupyter Lab? ??? ??? ????? ?????.

NanoSAM

SAM(Segment Anything)? ???? ?????? ???? ??? ? ?? ??? ?????. ????? ????? ???? ?? ??? ?? ???????? ???? ?????.

??? ??? ???? ?? ?? ???? SAM ??? ???? ?? ??? ???? ??? ????? NanoSAM? ??????. ?? ? ??? NVIDIA Jetson Orin ????? ??? ??? ??? ? ??? NVIDIA TensorRT? ??????. ?? ??? ?? ??? ?? ??? ?? ?? ???? ???? ???? ??? ??? ?? ??? ? ????.

???? ?? ??

?? ???? ??? ???, TAM(Track Anything Model)? “???? ????? ???? ??”??? ? ? ????. ?? ??? Gradio ?? ?????? ???? ??? ???? ???? ???? ?? ? ????? ??? ??? ? ????. ????? ?? ??? ??? ???? ?? ??? ?????.

NanoDB

??? 2. Hello AI World – NVIDIA Jetson? ??? ???? ??DB

??? ?? ??????? ???? ???? ????? ????? ???? ? ??? ??? ???? ??(Llama-2 ??? ?? 4096??)? ???? ?? ???? ?? ?? ?? ??(RAG)? ?? LLM? ?? ???? ??? ????. ?? ?? ??? ??? ??? ???? ?????.

???? ???? ?? ??? ???? ?? ??? ? ?? ??? ?? ?? ??? ?? ??? ? ?? ????? ???. ?? ??? ? ??? ??? NanoDB? ??? ???? ??? ?? ??? ??? ?? ????? ?????.

??

???????! ??? ???? ??? AI ??????? ???? ???, ? ????? ?? Jetson Orin?? ?? ??? ? ????. ???? ???? ??? AI? ??? ??? ?? ????? Jetson Generative AI Lab? ?????.

Jetson?? ?? ??? AI ??????? ???? ????? ???? ? ??? ??? Jetson ???? ???? ???? ??? ???.