• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • 計算機視覺/視頻分析

    NVIDIA Holoscan 0.6 中具有多 GPU 和多節點功能的可擴展 AI 傳感器流

    ?

    各個行業對實時見解和自主決策的需求正在增長。為了滿足這一需求,我們需要可擴展的邊緣解決方案平臺,這些平臺可以從源頭有效處理人工智能傳感器數據,并擴展到本地或云計算資源。

    然而,開發人員在邊緣使用人工智能和傳感器處理時面臨許多挑戰:

    • 實時延遲要求
    • 為人工智能傳感器處理構建和維護自定義管道的復雜性
    • 需要與硬件無關的解決方案來滿足邊緣的異構硬件需求
    • 多模態和各種感覺模態的處理
    • 從邊緣到本地到云分布式網絡的集成
    • 長期整堆穩定性

    NVIDIA Holoscan 出現之前,沒有一個單一的平臺能夠提供全面的解決方案來有效應對眾多邊緣人工智能挑戰。Holoscan 通過無縫集成數據移動、加速計算、實時可視化和人工智能推理,確保了最佳的應用程序性能。它為開發人員抽象了復雜性,縮短了上市時間,并提供了用 Python 和 C++ 進行編碼的便利,所有這些都在一個低代碼、高性能的基礎設施中。

    Cosmo Intelligent medical Devices 總裁 Nhan Ngo Dinh 表示:“Holoscan 平臺使新的 SaMD(作為醫療設備的軟件)能夠快速生產,并與開發環境無縫集成,從而實現 S AMD 的生產和快速部署。”。“這加快了使用 NVIDIA Holoscan SDK 可編程集成開發的上市時間,易于從開發過渡到生產。”

    對于邊緣開發人員來說,在具有不同硬件需求和架構的邊緣設備的異構環境中導航可能會令人望而生畏。Holoscan 通過其與硬件無關的方法簡化了這種復雜性。

    該平臺提供了一個統一的堆棧,可容納從 x86 到 aarch64,從 NVIDIA Jetson Orin-AGX 到 NVIDIA IGX-Orin 的各種設備,滿足不同的功率、大小、成本、計算和配置需求。這種多功能性將您從硬件限制中解放出來,同時提高跨應用程序的互操作性、可維護性和可擴展性。

    NVIDIA Holoscan 的 v0.6 版本引入了新功能,使您能夠在構建 AI 流媒體解決方案時達到新的可擴展性、生產力和易用性水平。具體而言,這組新功能實現了以下優勢:

    • 通過分布式計算體系結構實現邊緣的可擴展性
    • 平臺開發的可移植性、協作性和互操作性
    • 具有數據幀流跟蹤功能的高級評測可實現最佳性能

    通過分布式計算體系結構實現可擴展性

    對于工作量大或有興趣擴展的開發人員,Holoscan v0.6 提供了 multi-GPU, multi-node 支持,以支持分布式計算。具體來說,您現在可以部署分布式應用程序,并使用單個節點上的所有可用 GPU 資源。或者,您也可以在具有優化網絡通信的獨立物理節點上部署單個 Holoscan 應用程序。

    Multi- GPU ,多節點使傳感器處理應用程序能夠隨著不斷增長的計算需求而擴展,并為您的設計提供更大的靈活性和可擴展性。對于用戶來說,它打開了新的可能性,增加了處理能力、并行處理、根據關鍵性分離工作負載、部署后在不更換現有單元的情況下擴大規模、容錯性和可靠性。

    Diagram shows operators divided among fragment APIs.
    圖 1。使用多片段 API 擴展的分布式應用程序

    平臺開發人員的可移植性、協作性和互操作性

    如果您正在開發一個平臺,而不是從頭開始創建獨立的產品,Holoscan v0.6 提供了一組新功能,可以實現更大的可擴展性和靈活性,以實現更廣泛的使用和易于集成:

    • App packager:通過簡化應用程序的容器化和部署,提供可移植性,增強協作并為平臺做出貢獻。
    • 多后端:簡化了從模型訓練到人工智能應用程序構建的過程,通過即插即用的方式部署已訓練的 PyTorch 模型。
    • Holoviz volumetric rendering:提供內置的體積渲染功能,支持醫學成像的可視化。

    具有數據幀流跟蹤功能的高級分析

    即將發布的版本將包括 數據幀流跟蹤 功能,使您能夠通過數據幀跟蹤來衡量性能,以便快速調整瓶頸。此外,多線程調度器 使應用程序能夠并行運行運算符,從而優化了系統資源的使用。

    使用案例和成功案例

    NVIDIA Holoscan SDK 已迅速發展成為一個加速的全棧基礎設施,為跨各個領域的可擴展、軟件定義和實時處理做出了重大貢獻。

    以下醫療保健公司已經接受并建立在這項技術的基礎上:

    • Medtronic,作為世界上最大的醫療設備公司,正在 Holoscan 平臺上構建下一代人工智能輔助結腸鏡檢查系統(等待美國食品藥品監督管理局批準)。
    • Moon Surgical,一家總部位于巴黎的機器人手術公司,其產品 Maestro 正在完成產品化。這是一個基于 Holoscan 和 IGX 的可訪問、自適應的手術輔助機器人系統。
    • ORSI Academy,一家位于比利時的外科培訓中心,使用 Holoscan 支持人類現實世界中的第一個機器人輔助手術,用于切除癌癥腎臟等關鍵手術。

    Moon Surgical 首席技術官 David Noo Nan 表示:“Holoscan 消除了為醫療設備應用構建安全可靠的傳感器數據處理管道的挑戰。傳統上,此類管道需要專門的專家團隊來開發和維護。”。使用 Holoscan,我們能夠在短的開發時間內為 Maestro 手術機器人系統推出創新功能,同時保持精干的研發團隊。”

    其他用例包括 AR/VR、雷達技術和科學儀器。

    Magic Leap 正在開發一種基于 Holoscan 的解決方案,該解決方案將人工智能與真實的增強現實相結合,從而徹底改變醫生和外科醫生的培訓、可視化以及復雜程序的性能。

    來自 Georgia Tech Research Institute 的團隊使用 Holoscan 開發了一種實時雷達應用程序,該程序用于國防、航空航天、氣象、導航和監視。

    • NVIDIA 與Analog Devices 合作構建了一個 5G Instrumentation 應用程序,該應用程序利用 Holoscan 在 NVIDIA IGX 平臺上以超過 120 Gbps 的速度進行計算密集型信號處理。
    • 在英國世界知名的同步加速器 Diamond Light Source,開發人員使用基于 Holoscan 和 Jax 的操作員將 Holoscan 輕松連接到現有的 Ptychography 軟件庫,以加快圖像處理和重建。

    鉆石光源成像與顯微鏡科學小組組長 Paul Quinn 表示:“通過 Holoscan,我們創建了一個端到端的數據流管道,可以在 I08-1 光束線上進行實時 ptychographic 圖像處理,大大豐富了整體用戶交互。”。

    開始使用 Holoscan 0.6

    NVIDIA Holoscan 0.6 的發布標志著邊緣 AI 解決方案開發的一個重要里程碑,提供了前所未有的可擴展性、靈活性和性能。憑借其多樣化的應用和成功案例,Holoscan 正在邊緣塑造人工智能傳感器處理的未來,為全球各個行業開辟新的可能性。

    要開始開發,請參閱 NVIDIA Holoscan SDK

    ?

    0

    標簽

    人人超碰97caoporen国产