使用 NVIDIA Holoscan 1.0 開發生產就緒型 AI 傳感器處理應用

邊緣 AI 開發者正在為安全關鍵型和受監管用例構建 AI 應用和產品。借助 NVIDIA Holoscan 1.0，這些應用可以在幾毫秒內整合實時見解和處理功能。

借助近期發布的 NVIDIA Holoscan 1.0，開發者可以更輕松地構建用于多模態實時傳感器處理的生產就緒型應用程序。NVIDIA AI Enterprise 現在可為 Holoscan 軟件堆棧提供安全補丁和關鍵錯誤修復，并具有有保證的 API 穩定性。這降低了產品維護成本，并簡化了邊緣 AI 應用程序的大規模部署。

什么是 NVIDIA Holoscan？

Holoscan 是一個與領域無關的 NVIDIA 多模態實時 AI 傳感器處理平臺，為開發者構建端到端傳感器處理流程奠定了基礎。該平臺以性能、可用性和生產就緒型等架構目標為基礎而構建。在傳感器處理流程的每個步驟中，Holoscan 都能提供優化的性能，同時更大限度地降低開發復雜性。該流程包括：

傳感器數據輸入
加速計算和 AI 推理
實時可視化、驅動和數據流輸出

Image showing the three main components of the NVIDIA Holoscan platform: Holoscan SDK, Hardware, and NVIDIA AI Enterprise. — *圖 1. NVIDIA Holoscan 平臺幫助開發者從固定功能儀器過渡到軟件定義儀器*

具體來說，Holoscan 平臺包括三個主要組件。第一個組件是其軟件。與領域無關、支持 AI 的實時傳感器處理流程建立在包括數據移動、加速計算、實時可視化和 AI 推理的基礎之上。

NVIDIA Holoscan 是唯一能夠將這些功能結合在一起并保證應用程序性能的單一平臺，同時降低復雜性并縮短上市時間。NVIDIA Holoscan SDK 為開發者提供了一個低代碼量、高性能的環境，以便他們使用 Python 或 C++API 構建工作流。

Holoscan 平臺的第二個組件是其硬件。Holoscan 支持多種硬件配置，以滿足各種功率、大小、成本、計算和配置需求，包括：

NVIDIA Jetson Orin 系列產品 (Orin Nano, Orin NX, and AGX Orin)
NVIDIA IGX Orin
NVIDIA IGX Orin 與 NVIDIA 獨立 GPU 相結合，提供集成和獨立 GPU 的強大功能
配備 NVIDIA 獨立 GPU 的 x86 系統 (工作站或云)

Holoscan 平臺的第三個組件是企業支持，旨在滿足醫療技術產品的預發布和后發布需求。通過 NVIDIA AI Enterprise 提供的 Holoscan 軟件提供全棧、長期 (長達 10 年) 軟件支持。

具體來說，此產品為開發者發布了安全補丁和關鍵錯誤修復，并保證了 API 的穩定性，從而顯著降低了產品維護成本。這不僅簡化了運營，而且提高了大規模部署 AI 應用的信心。

Graphic of stages of using the NVIDIA Holoscan end-to-end computing platform: train, build, test, deploy, and maintain. — *圖 2. NVIDIA Holoscan 有助于加快上市時間*

生產就緒

AI 計算的引入為尋求新方法以實現差異化和價值并同時更有效地使用數據的企業開辟了一系列可能性。然而，AI 軟件堆棧非常復雜，具有數百個依賴項，大量利用了第三方 OSS 庫 (圖 3)。

軟件復雜性的增加等同于漏洞的增加。安全性、穩定性、可靠性和生產就緒性至關重要，但對于希望在其應用程序中利用該軟件的開發者和組織而言，這一點具有挑戰性。對于醫療設備或機器人等安全關鍵型和受監管的行業而言，尤其如此。

Graphic showing that the NVIDIA Holoscan stack includes 243 third-party components and 92 NVIDIA components. — *圖 3. NVIDIA Holoscan 為復雜的 AI 軟件堆棧提供生產就緒性、安全性和穩定性*

例如，在 2023 年，FDA 發布了針對醫療設備網絡安全的說明，指出在上市前提交中可能不包含<fd&c 法=””>第 524B 節 (確保設備網絡安全) 要求的信息。根據該法律，制造商必須在產品上市后設計并發布更新和補丁，提供軟件材料清單 (SBOM)，并提交識別和解決“上市后網絡安全漏洞”的計劃。</fd&c>

對于如何為此類開發者和公司構建和維護支持 AI 的平臺，這帶來了更多挑戰：

維護安全軟件堆棧需要大量資源。
在進行 CVE 掃描后，需要進行評估和探索，以便采取進一步的行動和措施。
軟件包安全更新可能需要后續更改相關 API，這可能會破壞向后兼容性。
需要持續監控和更新完整堆棧。

這意味著需要定期進行安全補丁和錯誤修復，這給公司帶來了兩種成本高昂的選擇：

向后移植補丁和修復程序，以避免破壞堆棧并導致潛在的驗證、驗證和重新認證需求。
向前推進會帶來破壞產品功能和引入新錯誤的潛在風險，需要進行代價高昂的驗證、驗證和可能的重新認證周期。

對于 Holoscan 開發者而言，生產就緒意味著什么

Holoscan 平臺提供加速的全棧基礎設施，用于在邊緣實時處理多模態數據。在過去的版本中，Holoscan 平臺的特性和功能專注于高性能計算、低延遲和高吞吐量的多模態傳感器流，此外還具有出色的可用性，并縮短了上市時間。

加入 NVIDIA AI Enterprise 后，Holoscan 1.0 增加了生產就緒性，為開發者的端到端產品生命周期提供支持。它還加快了公司的 AI 創新之旅，同時降低了產品擁有和維護的總成本。

在 NVIDIA IGX 上構建產品

借助全棧軟件支持 (包括固件、操作系統、驅動、AI 框架、GPU 加速和 SDK)，開發者可以在整個堆棧中依賴單一來源的支持，同時享受有保證的長期 API 穩定性和一致的軟件材料清單 (SBOM).此產品經過優化，可滿足邊緣客戶的異構需求，例如：

CVE 補丁和關鍵錯誤修復，具有有保證的 API 穩定性。
靈活的軟件分支期限不同 (9 個月到 10 年)，旨在滿足不同行業和產品開發不同階段的開發者的需求。為期 9 個月的支持分支每六個月發布一次，10 年分支每 2.5 年發布一次。
Yocto 嵌入式開發者通常傾向于使用基于 Yocto 的定制發行版來部署他們的產品。

基于 Yocto 的發行版可通過設備運行所需的最低組件集，實現 SBOM 的最小化。它們簡化了 FMEA、SW/SOUP 危險分析、網絡安全危險分析和滲透測試。它們降低了監管負擔和上市后維護成本。它們還支持高效使用嵌入式硬件資源，包括存儲、內存、處理能力和電力。

如需詳細了解 Holoscan Yocto 如何針對邊緣部署優化發行版，請閱讀使用 NVIDIA Clara Holoscan 部署 AI 加速的醫療設備。