NVIDIA JetPack SDK 為 NVIDIA Jetson 模組提供支持，為構建端到端加速的人工智能應用提供全面的解決方案。JetPack 6 通過微服務和一系列新功能擴展了 Jetson 平臺的靈活性和可擴展性。這是 JetPack 2024 年下載次數最多的版本。
隨著 JetPack 6.0 正式發布，開發者可以滿懷信心地將這些新功能引入更先進的嵌入式 AI 和機器人應用。本文重點介紹了主要功能和新的 AI 工作流程。
JetPack 6 功能亮點?
JetPack 6 支持在 Jetson 上擴展一系列基于 Linux 的發行版。其中包括 Canonical 的 Ubuntu 服務器、Redhat 的 RHEL 9.4、SUSE、Wind River Linux、Redhawk Real Time OS 以及各種基于 Yocto 的發行版。這些基于 Linux 的發行版在 Jetson 上提供了商業支持的企業產品，可以放心地部署和管理基于 Jetson 的產品。
運行任何 Linux 內核的能力使 Jetson 客戶能夠使用他們選擇的內核版本，并避免不得不花費資源將其驅動反向移植到特定的 Jetson Linux 內核。Jetson 客戶可以獨立于 JetPack 路線圖維護其內核。
借助 JetPack 6，您可以自由升級計算堆棧，而無需升級 Jetson Linux BSP。此功能在社區中特別受歡迎。
此外，JetPack 6 還將 Jetson 平臺服務添加到 Jetson Linux BSP 和 Jetson AI Stack 中。Jetson 平臺服務是一套預構建和可定制的服務，旨在加速 Jetson 設備上的 AI 應用程序開發。這些模塊化服務集合支持由 API 驅動和分解的真正云原生應用。
采用 Jetson 平臺服務的模塊化、分散的可替代架構?
Jetson 平臺服務現已作為 JetPack 6 的一部分提供，可提供模塊化架構，其中包含大量可定制軟件和可重復使用的微服務，用于構建視覺 AI 應用。它提供用于基礎架構功能的基礎服務、用于生成見解的 AI 服務，以及用于安全邊緣到云連接的參考云。
各種微服務包括視頻存儲工具包（VST）、AI 感知服務 NVIDIA DeepStream 生成式 AI 推理服務、分析服務等。每種服務都提供了用于配置和訪問微服務功能的應用程序接口（API）。
這些 API 基于云原生架構中使用的標準模式，使用 IoT 網關基礎服務從外部提供給系統，以便使用單個網關在系統中公開 API.客戶端應用程序通過 API 網關服務調用相應的 API 來執行微服務功能。
Jetson 平臺服務還提供物聯網云模塊，使客戶能夠在遠程訪問這些 API 時進行身份驗證和授權。此物聯網云模塊與云無關，可以從任何公有云或私有云運行。
AI 服務?
一系列 AI 服務通過 AI 模型、多對象追蹤和流分析技術的組合提供優化的視頻處理和 AI 推理功能。這些是具有標準化 API 的容器化軟件，可以集成到最終應用中，如參考工作流程所示。
適用于 VLM 的 AI 推理服務?
視覺語言模型（VLM）通過將視覺模式與大語言模型（LLM）相結合，實現對圖像和視頻的語義理解。VLM 的 AI 推理服務支持通過標準化 API 訪問 VLM 功能。可以使用兩種受支持的模型之一（VILA 或LLaVA），并提供兩個主要功能：
- 為通過自然語言提示從串流視頻中創建警報設置條件
- 使用自然語言查詢 (提示) 視頻并獲取回復
VLM 通常需要相當大的 GPU 和顯存需求。根據參數數量，VILA 有不同的大小。VILA 提供 13B、7B 和 27B 變體。模型在掌握圖像語義能力方面的準確性隨著參數數量的增加而提高，但以更高的 GPU 利用率和顯存利用率為代價。用戶需要根據工作負載選擇 Jetson 平臺和可用系統資源，選擇正確的模型。
此服務可以集成到生成式 AI 工作流程中，詳情將在下一節中介紹。
AI 分析服務?
視頻分析應用程序通常涉及分析人員或物體在攝像機視野中的移動。AI 分析服務基于推理服務生成的 元數據運行，例如檢測或跟蹤。此服務采用流式傳輸元數據，并生成物體移動的空間和時間見解。此服務的核心功能包括：
- 線交叉 (線)：定義攝像頭視野中的虛擬折線，并跟蹤一段時間內穿過折線的物體數量。
- 感興趣的區域：定義封閉的多邊形并維護區域內物體的時間序列計數。例如，這可用于檢測何時排隊等待結賬的人數達到一定限制。
- 行為分析：幫助追蹤通過攝像頭視野移動的物體的軌跡。此功能可通過創建熱圖可視化來了解物體運動的趨勢（圖 3）。
這里突出顯示的所有分析均可以使用 API 生成和提取。有關人工智能分析服務的更多信息，請參閱 Jetson 平臺服務版本的 文檔。
基金會服務?
基礎服務為組裝生產級 AI 系統提供了與領域無關的功能，包括攝像頭管理、存儲管理、物聯網、API 網關和消息總線。可以通過 SDK Manager (從 Jetpack 6.0 GA 版本開始) 方便地安裝相關服務，然后將其部署為 Linux 服務。基礎服務包括：
視頻存儲工具包 (VST) 服務：支持自動發現符合開放網絡視頻接口論壇（ONVIF）的攝像頭，以及從攝像頭提取、存儲和流式傳輸視頻流。下游人工智能服務或任何應用程序都可以通過實時流協議（RTSP）或 webRTC 等標準流協議從 VST 消耗這些流。VST 針對處理大量已連接的攝像頭進行了優化，并利用 Jetson 中的底層硬件加速支持進行視頻解碼和編碼、縮放和預處理以及疊加生成。
存儲服務：存儲調配和管理支持自動調配連接到 Jetson 設備的 SATA 和 NVMe 存儲，以補充各種微服務之間的板載存儲和存儲分配。存儲服務通過標準支持跨多個驅動器的邏輯卷（包括隨著時間的推移添加驅動器）和磁盤加密（用于靜態數據保護）：Linux.uniform.關鍵設置（LUKS） 由 Jetson Linux 提供的功能。
網絡服務：支持配置以太網接口，以便使用板載或外部 POE 交換機連接到 IP 攝像頭，并在攝像頭啟動期間設置 DHCP 分配 IP 地址。
Redis 服務：Jetson 上的統一系統消息總線，支持各類微服務之間的消息傳遞和同步，同時也可用作分析的時間序列數據庫。
API 網關 (Ingress)：大多數微服務會發布 API，以供其他服務和應用程序調用。Ingress 服務提供了一種標準機制來展示這些 API 端點。傳入的請求將根據配置的路由規則路由到適當的微服務，從而使底層微服務架構遠離 API 消費者。
監控：為監控您的應用程序和設備上運行的服務，監控服務提供了使用 Prometheus 收集此數據的 hook。它還包括用于可視化的 Grafana 控制面板，可以使用 Ingress 或 API 網關服務遠程訪問。它包括用于跟蹤系統利用率的系統監控服務，包括 CPU 和 GPU 使用率、內存和磁盤使用情況（使用 Node Exporter 收集）。
物聯網網關：對于使用任何云服務的應用程序，IoT 網關服務提供了一個 Provision Agent，用于驗證設備并安全連接到云。它與云建立雙向 TCP 連接，使設備（可能位于防火墻后面）能夠與云通信。傳入的流量通過入口服務轉發到注冊的內部端點。它還支持通過云將事件從各種微服務推送到外部客戶端，并可以擴展為支持從用戶創建的微服務衍生的自定義事件。
防火墻：如果您需要防火墻來保護您的設備（特別是在生產情況下），此服務會使用一些默認規則設置 UFW（簡單的防火墻），您可以根據需要修改這些規則，以控制進入和退出系統的網絡流量。
支持生成式 AI 工作流程?
借助 Jetson 平臺服務，您可以快速構建適用于邊緣的 AI 應用。為了進一步加速這一過程，您可以使用多個參考工作流，包括生成式 AI 工作流。這些工作流展示了配置和實例化各種 Jetson 服務的最佳實踐。它提供了使用 API 和前面概述的服務構建復雜視覺 AI 應用的方法。您可以使用 API 自定義這些工作流或在這些工作流的基礎上進行構建。工作流打包為 Docker 合成文件，以及參考移動應用，以展示如何利用 API。
AI-NVR
AI-NVR（網絡視頻錄像機）是一款端到端參考應用，用于構建基于人工智能的 NVR 解決方案。它包含令人驚嘆的功能，例如視頻管理和存儲、人員占用和熱圖指標、用戶身份驗證和授權、設備安全和加密存儲，以及參考移動應用。通過利用 Jetson 平臺上的所有不同加速器，此工作流程已針對通道吞吐量和性能進行優化。參考工作流程使用 DeepStream AI 感知服務以及高精度 NVIDIA PeopleNet 模型和多目標跟蹤器。您可以使用自己的 AI 模型靈活定制感知服務，或自帶感知服務。如需詳細了解此工作流程，請觀看 AI-NVR 概述。
生成式 AI 驅動的邊緣警報?
借助生成式 AI 驅動的警報，您可以使用 VLM 從視頻中提取見解，并使用自然語言生成警報。結合視覺和語言模式，這些模型在由文本、圖像和視頻組成的大型數據集上進行訓練，可以理解自然語言提示并執行視覺問答。
VLM 不僅限于基本的物體檢測和分類，還能提供對場景更深入的上下文理解。借助此工作流，您可以使用自然語言在輸入視頻流上使用 API 設置警報。例如，“alert if the fire”。其次，您可以對視頻執行問答。
使用生成式 AI 的零樣本檢測?
Zero-Shot 檢測工作流程使用 NanoOwl 模型，這是一個開放的詞匯模型，可以檢測任意數量的物體。與在固定數量的類上訓練的傳統物體檢測模型不同，開放詞匯模型是在互聯網規模的數據上訓練的，這使其能夠檢測最常見的物體，而無需為這些類顯式訓練模型。借助此工作流程，用戶可以通過提示類的模型使用 API 進行檢測來動態檢測任何物體。如需了解有關此工作流程的更多信息，請參閱 借助適用于 Jetson 的 NVIDIA Metropolis 微服務，將生成式 AI 引入邊緣。
擴展的 Jetson 支持?
Jetson 平臺服務兼容 Orin 系列中的所有設備 (從 Orin Nano 到 AGX)。所有這些設備都支持基礎服務，并且可以使用 SDK Manager 進行安裝。同樣，所有設備都支持 AI-NVR 工作流程，但流的數量會因硬件配置而異。
對于 VLM 參考工作流，在選擇模型時需要考慮 Jetson 平臺的性能。請參閱 VLM 參考頁面，了解 Jetson Orin AGX 和 Nano 的預期流數量信息。在確定模型時，還要考慮您特定案例中的任何其他工作負載，這些工作負載可能需要 GPU 和內存資源。
支持生產部署?
生產系統需要強大、可靠的硬件。 NVIDIA 與許多 OEM 建立了深度合作關系，這些 OEM 可以提供生產級主板和包裝。我們的一些合作伙伴還集成并驗證了上述工作流程和 Jetson 平臺服務。這保證了所有服務都將在其平臺上開箱即用。集成 JetPack 6 和 Jetson 平臺服務的合作伙伴包括：
- Yuan
- Aetina
- Aaeon
- Advantech
- AVermedia
- Seeed Studio
- CRG
構建系統并創建應用程序后，產品化的最后一步是應用程序的部署和管理。應用程序可能還需要在現場頻繁更新，這需要遠程無線 (OTA) 更新。我們很高興與一些領先的車隊管理公司合作，這些公司集成了 Jetson 平臺服務，可以提供一站式解決方案來部署和更新您的邊緣應用程序。合作伙伴包括：
- Namla
- Allxon
- Mender
總結?
NVIDIA JetPack 6.0 提供了一系列新功能，從 Linux BSP 層和 AI 堆棧的增強功能，到構建邊緣應用程序的新方式，不一而足。它引入了 Jetson 平臺服務，這是一系列云原生模塊化服務，附帶標準化 API，可快速集成到工作流程中。
利用這些服務和工作流程加速邊緣的生成式人工智能應用程序開發。要開始使用下一個生成式人工智能應用，請下載 JetPack 6.0。如果您有技術問題，請訪問NVIDIA Jetson 論壇。
?
