• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • 計算機視覺/視頻分析

    NVIDIA Holoscan 傳感器橋接技術賦予開發者實時數據處理能力

    在快速發展的機器人和邊緣 AI 領域,高效處理和傳輸傳感器數據的能力至關重要。許多邊緣應用正在擺脫單傳感器固定功能解決方案,轉而采用多樣化的傳感器陣列。其中包括視覺、音頻、溫度、力/扭矩和通信傳感器、IMU、lidaradar 系統、超聲波、電機和執行器。

    NVIDIA Holoscan 傳感器橋接器 (HSB) 是一種先進的以太網串流傳感器技術,旨在實現實時數據串流并簡化高速傳感器和執行器集成。NVIDIA Holoscan 將 HSB 作為連接物理傳感器和處理管道的接口。在實現硬件和 AI 處理之間的緊密集成至關重要的低延遲端到端工作流方面,它發揮著至關重要的作用。

    本博文將深入探討高速傳感器處理所面臨的挑戰。還重點介紹了 HSB 如何通過超低延遲、易用性、可擴展性和強大的安全功能為機器人、醫學成像和工業自動化等行業解決這些問題

    高速傳感器處理面臨的挑戰

    由于幾個關鍵因素,Physical AI 和機器人開發者在傳感器集成方面面臨巨大挑戰。

    1. 開發時間和多樣性由于傳感器類型不同且接口要求獨特,開發傳感器驅動并將其集成到系統中非常耗時。這種復雜性會拖慢整個開發過程。

    2. 實時處理和低延遲實現實時處理和低延遲對于機器人和醫療儀器等應用至關重要。快速的數據采集、處理和傳輸必須避免可能導致性能欠佳或系統故障的延遲。

    3. 傳感器串流的復雜性持續的傳感器數據串流應用面臨著管理高數據速率、確保數據安全性、功能安全性以及同步來自多個傳感器的數據等挑戰。

    什么是 Holoscan Sensor Bridge

    Holoscan 傳感器橋接器專為低延遲數據流和控制而設計。它通過以太網使用用戶數據協議 (UDP) 將傳感器數據傳輸到 NVIDIA JetsonNVIDIA IGX 等系統上的 GPU 顯存,從而降低延遲和 CPU 占用率。它針對 NVIDIA ConnectX SmartNICs 和 camera-over-Ethernet 技術的使用進行了優化,可實現視頻、邊緣 AI機器人的實時處理。HSB 將原始傳感器數據串流到 Holoscan SDK 中,支持從采集到推理和可視化的統一流程。

    An Architectural diagram showcasing how Holoscan Sensor Bridge connects the sensors and NVIDIA platform.
    圖 1。Holoscan Sensor Bridge 設計架構

    HSB 的主要特性和優勢

    Holoscan 傳感器橋接器為開發者提供了巨大的價值,可在不犧牲性能的情況下加速開發時間。

    1. 超低延遲:提供超低延遲可確保以最小的延遲處理和傳輸來自傳感器的數據。這對于需要實時數據處理的應用(例如人形機器人、自動駕駛汽車和醫學成像)至關重要。
    2. 易用性:軟件定義架構支持輕松列舉和 API 編程,無需 FPGA 編程專業知識。這加快了攝像頭、IMU、Lidar、DAC 和 ADC 等多個傳感器的傳感器軟件開發速度。
    3. 可擴展性:通過多模態傳感器集成支持,用戶可以處理大量數據,這對于智慧城市和工業自動化至關重要。HSB IP 可以通過可定制的配置參數支持 100 Mbps 到 100 Gbps 的帶寬。
    4. 安全性和可靠性:它包括冗余、故障檢測、水印和 MAC SEC 支持等功能,有助于實現 SIL 2 級安全性。

    Holoscan 傳感器橋接器軟件簡介

    借助 NVIDIA Holoscan SDK,開發者可以將模塊化運算符組合成可定制的工作流,從而構建高性能串流應用。借助 Holoscan Sensor Bridge 主機軟件,您可以構建自定義工作流,并使用即用型運算符處理來自網絡連接的傳感器的數據,以執行圖像轉換、信號處理、推理和可視化等任務。傳感器對象提供用于配置和監控的特定于設備的 API,因此可以直接針對不同的傳感器和應用調整工作流。

    Holoscan 應用程序的結構是劃分主應用程序類,并在 configure 方法中定義數據管道,根據需要連接 operators 。該平臺靈活且開放:您可以擴展或修改 operators (以源代碼形式提供) ,以滿足獨特需求。

    使用 HSB 視覺傳感器提升性能

    現代嵌入式邊緣系統需要具有不同接口、高分辨率、快速幀率、低延遲和精確同步的攝像頭。HSB 的延遲比 USB 攝像頭低 5 倍,延遲比 MIPI 攝像頭低 1.5 倍,玻璃到玻璃的延遲低至 17 毫秒,從而滿足這些需求。通過使用 RDMA 和以太網攝像頭,它可以將數據直接傳輸到 GPU 內存,而 CPU 利用率幾乎為零,從而縮短響應時間并實現實時操作。借助 HSB v2.0 版本,開發者可以使用最新工具在其特定用例中準確測量延遲。

    A comparison chart showing performance benchmarks of the HSB Camera compared to other cameras.
    圖 2。與替代方案相比,Holoscan Sensor Bridge 攝像頭解決方案的性能基準測試結果

    對于傳統的移動行業處理器接口 (MIPI) 攝像頭,Argus 攝像頭流水線通常需要多個內核空間驅動程序,在將數據傳遞到 GPU 顯存之前,先將數據發送到 CPU 顯存。借助 HSB,傳統的內核空間驅動將被用戶空間 API 取代,開發者無需為攝像頭和控制功能創建單獨的驅動。

    這種簡化的方法使開發者能夠專注于應用程序邏輯,而不是低級驅動開發。它還具有靈活性,支持與一系列圖像信號處理器 (Image Signal Processor, ISP) 選項集成,包括基于NVIDIA CUDA的ISP、HSB硬件上的軟ISP實現,或NVIDIA Jetson AGX和NVIDIA IGX上的內部ISP。下圖說明了HSB流程如何適應各種配置選擇,突出了平臺的通用性和模塊化。

    用戶指南中提供了使用不同 ISP 選項的參考示例:

    The end-to-end latency flowchart of Holoscan SDK and its components on the IGX Platform.
    圖 3。IGX 平臺上的 HSB 管道
    The end-to-end latency flowchart of Holoscan SDK and its components on the AGX platform.
    圖 4。Jetson AGX Orin 平臺上的 HSB 管道以及 Jetson AGX Orin 上的 HW ISP Holoscan 傳感器橋接器也可與 SW ISP 或 CUDA ISP 一起使用,類似于 IGX 管道。就 NVIDIA Jetson Thor 而言,管道中使用的是以太網攝像頭,而非 NVIDIA ConnectX。

    多傳感器時間同步

    另一項關鍵功能是 HSB 支持基于 IEEE 1588-2019 標準的 Precision Time Protocol (PTP) 。此功能使傳感器橋接器能夠將其內部時鐘與主機系統同步,確保在采集時對每一項傳感器數據進行精確的時間記。它可在 1 微秒內實現同步精度,并且精度通常超過 100 納秒,因此非常適合醫學成像、機器人和自主系統中的高性能應用。借助準確的時間,開發者可以滿懷信心地準確追蹤每個傳感器事件的發生時間,從而實現跨多個來源的數據對齊,并在分布式系統中進行可靠的協調。

    An end-to-end latency flowchart of Holoscan SDK and its components on AGX Platform.
    圖 5。HSB 多傳感器同步示意圖

    HSB 生態系統

    作為傳感器到計算的技術平臺,HSB 支持由傳感器、硬件和服務合作伙伴組成的充滿活力的生態系統,幫助客戶縮短上市時間。傳感器合作伙伴提供各種由 HSB 提供支持的生產就緒型攝像頭和傳感器解決方案,提供實時性能和高帶寬處理。硬件合作伙伴提供基于 FPGA 的評估板,使開發者能夠快速設計具有低延遲、靈活的傳感器配置和接口的自定義連接。服務合作伙伴專注于利用 NVIDIA Holoscan 軟件 API 來實施 AI 解決方案和傳感器集成,從而實現優化的端到端性能。

    快速、準確的傳感器數據分析正在改變醫學成像和診斷方式。Holoscan 傳感器橋接器為內窺鏡、手術機器人和放射學領域的實時分析提供支持。Virtual Incision 等公司使用 HSB 來加速攝像頭開發。Virtual Incision 首席技術官 Shane Farritor 強調說:“借助 Holoscan Sensor Bridge,我們能夠徹底改變攝像頭的開發和部署方式。使用 Python 和 C 代碼取代 Verilog 的能力大大加快了我們的開發時間,將開發時間從幾個月縮短到幾周CUDA 編程在效率和性能方面帶來了巨大改變。”

    在軟件定義的無線電、6G 以及測試和測量應用中,數據轉換器等模擬傳感器至關重要。Holoscan 傳感器橋接器可將這些傳感器連接到 GPU,利用 NVIDIA IGX GPUDirect RDMA 實現快速、高效的信號處理。

    開始使用 Holoscan Sensor Bridge

    NVIDIA 提供全面的文檔、開發者套件和參考示例,幫助用戶開始使用 Holoscan Sensor Bridge。如需了解 Holoscan Sensor Bridge:

    1. 獲取適用于邊緣 AI 或機器人應用的 NVIDIA Jetson AGX Orin Developer KitNVIDIA IGX Orin Developer Kit
    2. 從我們的硬件合作伙伴 Lattice (HSB FPGA IP) 和 Microchip (HSB FPGA IP) 提供的 Holoscan Sensor Bridge 評估板開始。
    3. 下載 HSB 軟件HSB 用戶指南
    4. 觀看如何使用傳感器生態系統中完全集成的 HSB 傳感器: Leopard Imaging 展示了其連接到 Jetson AGX Orin 的 5.1 MPixel 深度立體 HSB 攝像頭,用于實時視覺應用和簡化集成。 Econ 展示了其連接到 Jetson AGX Orin 的小型 HSB 攝像頭。 D3 展示了一個 IP69 堅固耐用的攝像頭,通過 HSB 連接到 Jetson AGX Orin,運行視覺語言模型。 YUAN 利用 HSB 實現 HDMI、SDI 和模擬信號等多種模式的醫療設備集成。
    5. 如需了解更多信息,請查看 HSB 教程:Ridge Run:Improving Latency with Holoscan Sensor Bridge

    參加 GTC 巴黎大會,了解 AI、機器人、數字孿生和先進的仿真技術如何助力實現更智能、更安全、更高效的工業自動化。

    觀看 NVIDIA 創始人兼首席執行官 Jensen Huang 在 VivaTech 2025 上發表的 NVIDIA GTC 巴黎主題演講,并探索 GTC 巴黎會議

    訂閱我們的時事通訊并在 LinkedInInstagram、X 和 Facebook 上關注 NVIDIA Robotics隨時了解最新動態探索 NVIDIA 文檔YouTube 頻道,并加入 NVIDIA Developer Robotics 論壇要開啟您的機器人開發之旅,請立即注冊我們的免費 NVIDIA Robotics Fundamentals 課程。

    開始使用 NVIDIA Isaac 庫和 AI 模型開發物理 AI 系統

    ?

    0

    標簽

    人人超碰97caoporen国产