各行各業對實時見解和自主決策的需求與日俱增，醫療健康和醫療設備也不例外。依靠實時邊緣 AI，新一代醫療健康有望提供更精確的治療、改善患者治療效果并提高運營效率。
例如，未來的手術室將越來越多地采用支持人工智能和互聯的設備，以便實時訪問和交換整體患者數據、手術見解、決策和行動。
在這樣的未來，軟件即醫療設備（SaMD）必須在嚴格的要求下運行，在分布式醫療系統中部署時，需要處理具有嚴格性能和延遲限制的大規模數據，同時確保高效、可靠和安全的數據連接，并在不影響性能或延遲的情況下在各種傳感器、顯示器、控制器和應用之間進行交換。
本文將介紹如何集成NVIDIA Holoscan和RTI Connext，以創建具有高互操作性、低延遲和分布式連接的 AI 驅動的醫療設備應用程序。此集成可在盡可能減少開銷的情況下實現這些優勢，并減少實施工作和復雜性。
NVIDIA Holoscan 用于實時 AI 傳感器處理?
NVIDIA Holoscan 為開發者提供了一個單一的生產就緒型框架，用于構建端到端實時 AI 傳感器處理流程，從傳感器數據輸入到加速計算和 AI 推理、實時可視化、驅動和數據流輸出。
這種全面的解決方案有效地解決了眾多邊緣 AI 開發挑戰。Holoscan 可確保最佳應用程序性能，同時消除開發復雜性，縮短上市時間，并在低代碼、高性能的基礎設施中提供 Python 和 C++ 編碼的便利性。在簡言之，Holoscan 是一個框架，用于以模塊化、可擴展、軟件定義和以 GPU 為中心的方式將高速 I/O 連接到 GPU。
RTI Connext 支持實時數據為中心的連接
RTI Connext 基于數據分發服務（DDS）標準，通過分布式實時軟件通信框架簡化了跨復雜和可擴展系統的連接。借助 Connext，Holoscan 應用程序可以與分布式數據源和應用程序集成，同時還可以最大限度地減少實現此類醫療健康系統所需的性能、可靠性和安全性所需的實施工作和復雜性。
Connect 可在復雜的系統組件之間提供實時信息交換，同時滿足嚴格的可靠性、網絡安全和性能要求。Connect 提供了一個框架，用于在冗余、容錯的架構中處理、分析和對低延遲的大量實時數據進行處理。基于 Connect 構建的醫療系統具有彈性、自形成和自愈功能，沒有單點故障。
廣泛的服務質量調整選項有助于滿足分布式智能手術系統對實時視頻和相關數據的需求。Connext 還包括自動發現和安全等功能，而不會增加大量帶寬開銷。基于成熟的 DDS 安全標準的內置安全功能提供了身份驗證和加密的基礎，同時還提供了安全日志記錄和精細訪問控制，從而保護關鍵系統免受安全漏洞的影響，并滿足 FDA 等監管機構實施的網絡安全要求。
集成 NVIDIA Holoscan 和 RTI Connext?
當今的醫療健康系統基于許多已安裝的傳統系統構建，這些系統最初的設計并沒有考慮到 AI 功能，而 NVIDIA Holoscan 目前也不受原生支持。此外，當今的醫療健康系統和醫療設備需要在傳感器、致動器、控制系統和接口之間進行復雜的連接。
Connect 與 Holoscan 的集成使 Holoscan 開發者能夠將現有的傳統安裝基礎轉換為支持 AI 和軟件定義的設備。這通過在原生不支持 Holoscan 的設備中將 Holoscan 作為 sidecar（配套計算模塊）集成來實現。
例如，現有的醫療設備中有很大一部分目前基于 Windows (尤其是在醫學成像領域)，而 Holoscan 在原生環境中不受支持。作為第二個例子，Holoscan 作為 SideCar 可以將高級 AI 功能引入在非 NVIDIA 系統上運行實時操作系統 (RTOS) 的機器人手術系統中。第三個例子是低端感知醫療設備，例如患者監護，這些設備可以使用強大的 AI 算法增強設備，而構成傳統系統的硬件或軟件會限制此類新功能的添加。
通過 RTI Connext 實現 Holoscan DDS 互操作性，DDS 為所有這三個示例提供了解決方案，提供了可擴展、AI-enabled 的 Holoscan sidecar，可與傳統系統實時無縫通信。
Holoscan 為作為醫療設備 (SaMD) 的 GPU 加速軟件提供了出色的基礎架構，從而能夠在新一代醫療健康系統中創新和部署 AI 驅動的工作流程，這些工作流程通常需要在具有非常嚴格的延遲限制的大規模數據上運行，因此，必須以高效、可靠和安全的方式在各種傳感器、顯示器、控制器和 Holoscan 應用程序之間傳輸數據。
通過使用 RTI Connext，Holoscan 應用程序可以與分布式醫療系統集成，而無需多少開銷，同時還可以最大限度地減少實現此類系統所需的性能、可靠性和安全性所需的實施工作和復雜性。如果 Connext 已經在使用中，即使可以在不修改現有系統的情況下引入由 Holoscan 提供支持的新 AI 工作流程。
RTI Connext 集成的 Holoscan 應用示例
本節提供了一個示例用例；具體來說，Holoscan 應用程序運行在充當 sidecar 的專用系統上，該應用程序使用 RTI Connext 從 DDS 數據總線讀取幀，在 Holoscan 工作流程中處理幀數據，然后使用 Connext 將結果發布回數據總線，以便處理后的幀數據可以由另一臺設備讀取以供顯示。
此示例增強了醫療保健系統中的常見場景，即多個傳感器捕獲數據，然后將這些數據聚合在一個單獨的監控系統上顯示。通常只需對現有組件進行少量修改即可將 AI 驅動的 Holoscan 工作流添加到該數據流中間。傳感器采集和顯示輸出也通常使用不原生支持 Holoscan 的系統完成，Connext 有助于彌合這些差距。
此示例的核心組件是通過 GitHub 上的 nvidia-holoscan/holohub 提供的 Holoscan DDS 視頻流運算符，這些運算符使 Holoscan 應用程序能夠實時讀取和寫入 DDS 數據總線中的視頻幀。借助這些運算符，Holoscan 應用程序可以從數據總線讀取視頻幀以用作工作流程處理的來源，并將處理的結果寫回數據總線供另一個組件使用。
此外，以下新應用支持將 sidecar 用例顯示為獨立示例：
- dds_video 應用程序可用于將視頻幀寫入 DDS 數據總線（從 V4L2 視頻設備例如 USB 攝像頭中捕獲），也可用于從 DDS 中讀取幀，并通過 Holoviz 將其渲染到顯示器通過 Holoscan 可視化模塊。
- 已對 body_pose_estimation 應用程序進行修改，使輸入視頻幀可以來自 DDS 數據總線，而輸出視頻幀（包括身體姿態估計疊加）則可以發布回 DDS 數據總線。
將這兩個應用程序結合起來演示了使用三個進程的 sidecar 數據流：
- 一個 dds_video 進程從攝像頭傳感器中捕獲幀，然后將其發布到 DDS。
- body_pose_estimation 過程從 DDS 接收輸入的傳感器幀，通過 body pose estimation 模型處理幀，然后輸出幀，并將推理結果疊加在圖像上輸出到 DDS。
- 另一個 dds_video 進程接收已處理的幀并將其渲染到顯示器上。
圖 3 顯示了此示例的設置。請注意，這三個進程都可以在任何系統上運行，只要它們在同一 DDS 域中相互檢測。例如，通過支持組播的網絡。
要在本地運行此示例，請先閱讀 HoloHub DDS Operators 文檔，了解設置 RTI Connext 的依賴項要求。要了解如何構建和運行應用程序，請參閱 Body Pose Estimation 文檔的 DDS Support 部分。
總結?
在向 AI 增強型系統和設備過渡的過程中，將 NVIDIA Holoscan 與 RTI Connext 集成可為醫療設備行業的 Holoscan 開發者提供諸多優勢，這些優勢包括以最小的開銷無縫集成分布式醫療系統、使用高級 AI 算法增強傳統系統等。
首先，請下載 Holoscan 2.0 并查看 nvidia-holoscan/holohub 上的 Holoscan 和 DDS 集成參考應用，包括：
訪問NVIDIA 開發者 Holoscan 論壇，提出問題并分享信息。
