• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • 數據中心/云端/邊緣

    用 HPC + AI 應對邊緣數據挑戰

    ?

    未來十年,科學儀器的靈敏度和分辨率將提高 10-100 倍,因此需要相應的存儲和處理規模。這些增強型儀器產生的數據將達到摩爾定律無法充分解決的極限,它將挑戰僅基于數據中心 HPC 的傳統運營模式。

    邊緣計算 依賴 AI 和 高性能計算?( HPC )來跟上這些增強功能的時代已經到來。

    5 月 30 日, NVIDIA 超尺度和 HPC 計算副總裁伊恩·巴克博士在德國漢堡的 國際超級計算大會 ( ISC )特別演講中回應了這種觀點。在介紹此 邊緣計算背景下 HPC 和 AI 本質的視角轉變 的同時,特別演講還介紹了一個旨在解決邊緣 HPC 數據密集型工作負載這一難題的平臺: NVIDIA Holoscan 。

    介紹用于 HPC Edge 的 NVIDIA Holoscan 平臺

    NVIDIA Holoscan 平臺已經擴展,以滿足 DevOps 工程師、性能工程師、數據科學家和研究人員在這些不可思議的邊緣儀器上工作的特定需求。

    現代實時、邊緣人工智能應用正日益成為多模式應用。它們涉及高速 IO 、視覺 AI 、成像 AI 、圖形、流媒體技術等。創建和維護這些應用程序非常困難。擴展它們甚至更加困難。

    NVIDIA 正在構建流式反應式框架( SRF ),以應對這些挑戰。

    Diagram shows sensor data input to NVIDIA Holoscan architecture stack and photo results.
    圖 1 :。 NVIDIA Holoscan for HPC 工作流

    雖然Holoscan最初是針對醫療保健,但它是一個通用的計算和成像平臺,旨在實現高性能,同時滿足邊緣的尺寸重量和功率(SWaP)限制。

    現在, Holoscan 平臺得到了擴展,這得益于一個易于使用的軟件框架,該框架通過確保最大的流數據性能和計算,最大限度地提高了開發人員的生產率。該平臺是云本機平臺,支持邊緣位置和數據中心之間的混合計算和數據管道。它的體系結構還考慮了可伸縮性,使用了網絡感知優化和異步計算。

    擴展的 Holoscan 平臺提供了一個靈活的軟件堆棧,可以在基于 NVIDIA Jetson AGX XavierJetson AGX Orin . 還有一個云本機版本,運行在常見的高性能硬件上,以加速邊緣的數據分析和可視化工作流。

    介紹 NVIDIA 流式反應式框架

    HPC 和 AI 研究領域最優秀的人才正在不斷開發更快更好的算法,以解決當今最具挑戰性的問題。然而,許多開發人員發現,將他們的模型和代碼移植到全速率生產是一項挑戰,尤其是在面臨高速流輸入和嚴格的吞吐量和延遲要求時。

    一個有效的解決方案需要各種技能:從數據科學家到性能工程師的人才,同時跨越多種軟件語言、硬件和軟件架構、位置和縮放規則。因此, NVIDIA 創建了流式反應式框架( SRF ),以減輕對生產的研究負擔,同時保持光速性能。

    Diagram shows segment nodes connected with GPU memory and segments connected with GPU memory or network connections.
    圖 2 :。在 Holoscan 中, HPC 流式數據管道使用 SRF 進行了標準化,以便為傳感器數據構建模塊化和可重用的管道

    NVIDIA SRF 是一個網絡感知、靈活且面向性能的流式數據框架,它為 C ++和 Python 開發人員標準化并簡化了從云到邊緣的生產 HPC 和 AI 部署。

    構建 NVIDIA SRF 管道時,請指定應用程序數據流。以及縮放和放置邏輯。放置邏輯指示數據流運行的硬件,縮放邏輯表示需要多少并行拷貝才能滿足性能要求。

    NVIDIA SRF 可以輕松地與 C ++和 Python 代碼以及特定于域的 SDK 的 NVIDIA 目錄集成。

    NVIDIA SRF 仍處于實驗階段,正在積極開發中。您可以在 2022 年 6 月中旬訪問 在 GitHub 上下載 NVIDIA SRF

    用于可視化和成像的 AI

    NVIDIA Orin ,一種基于 AI 推斷中的 NVIDIA 安培體系結構設置新記錄 的低功耗片上系統,提高了每臺加速器的性能。它比上一代 Jetson AGX Xavier 快 5 倍,同時平均能效提高 2 倍。

    Jetson AGX Orin 是用于 HPC 和 NVIDIA Clara Holoscan 的 Holoscan 的關鍵成分,該平臺系統制造商和研究人員正在使用該平臺開發下一代 AI 儀器。其強大的成像計算能力和多功能軟件堆棧使其對涉及可視化和成像的 HPC 邊緣用例具有吸引力。

    Orin 憑借其 JetPack SDK 運行完整的 NVIDIA AI 平臺,這是一個已經在數據中心和云計算中得到驗證的軟件棧。它得到了使用 NVIDIA Jetson 平臺的 100 萬開發人員的支持。

    美國能源部阿貢國家實驗室( ArgonneNational Laboratory )的 高級光子源 ( APS )可以產生超明亮的高能光子束。光子的亮度是標準醫院 X 光機的 1000 億倍,可以在納米級和原子級上拍攝圖像。隨著 2024 年 APS-U 的升級,它將能夠產生比當前機器亮 500 倍的光子。

    牛津大學的鉆石光源 是世界一流的同步加速器設備,正在將現有光束線和五條新的旗艦光束線的亮度和相干性提高 20 倍。 Diamond 的數據傳輸速率已經達到每月 PB ,使用 Diamond II ,預計至少會高出一個數量級。

    在世界范圍內,有 50 多個先進光源支持 16000 多名研究科學家的工作,這些儀器也有更多的升級。雖然所有這些進步本身都很顯著,但它們依賴于計算和數據科學家準備好在邊緣的超級計算機上運行人工智能數據處理應用程序。

    PtychoNN : APS 邊緣計算平臺

    APS 是一臺足球場大小的機器,可以產生光子束。這些光束用于研究材料、物理和生物結構。

    如今,生成具有納米級分辨率的材料圖像的一種方法是光子照相法( ptychography ),這是一種計算密集型方法,用于將散射的 X 射線干涉圖轉換為實際物體的圖像。

    到目前為止,該方法需要解決一個具有挑戰性的反問題,即使用正向和反向傅里葉變換,根據在數萬次 X 射線測量中觀察到的衍射圖案,迭代計算物體的圖像。科學家們等了幾天才得到實驗圖像的結果。

    現在,有了人工智能,科學家們可以繞過大部分反演過程,在實驗進行時查看物體的圖像,甚至可以在飛行中進行調整。

    有了人工智能, APS 的科學家們能夠使用流式 ptychography 管道,通過深度卷積神經網絡模型 PtychoNN 進行加速,從而將圖像處理速度提高 300 倍以上,并將生成高質量圖像所需的數據減少 25 倍。

    Alt text: Diagram shows that the high performance inference model generates live images at the edge instrument, in this case, an x-ray detector. The model is trained on a multi-node NVIDIA A100 cluster using retrieved data from the detector.
    圖3. 在A100上的數據中心培訓PtychoNN模型,并在波束線儀器上部署經過培訓的AI模型,AGX Orin運行PtychoNN以更快300倍的速度傳輸圖像

    PtychoNN 模型的培訓 NVIDIA A100 Tensor Core GPU 具有深度學習和 X 射線圖像相位檢索數據。經過訓練的模型可以在 edge 設備上運行,以直接將傳入的衍射圖像映射到真實空間中的對象圖像,并在毫秒內實時映射。

    更快的取樣意味著儀器的使用效率更高,為調查更多材料提供了機會。它提供了以前不可能實現的功能,例如查看在 X 射線束中受損的生物材料樣本、快速變化的樣本或與 X 射線束大小相比較大的樣本。

    通用的硬件和軟件體系結構簡化了編排, NVIDIA AGX 位于邊緣, A100 GPU 群集位于數據中心。該解決方案易于擴展,以跟上 APS 預期的 125 倍數據速率增長。預計 2022 年的探測器升級和 2024 年的設施升級將帶來增長。

    “為了充分利用升級后的 APS 的功能,我們必須重新設計數據分析。我們目前的方法不足以跟上。機器學習可以充分利用并超越當前的可能。”

    Mathew Cherukara ,阿貢國家實驗室計算科學家

    這種使用 NVIDIA GPU 和 PtychoNN 的工作流程和方法可能是世界上許多其他光源的適用模型,這些光源也可以 通過實時 X 射線成像加速科學突破

    在前面的示例中,單個 GPU 邊緣設備使用經過訓練的神經網絡加速圖像流。 edge 實驗耗時數天,現在只需幾分之一秒,研究人員就可以實時交互使用他們的大型科學儀器。有關邊緣其他相關 HPC 和 AI 示例的更多信息,請參閱以下參考資料:

    雖然我們的許多突出的 edge HPC 應用程序都專注于流式視頻和成像管道,但 NVIDIA Holoscan 可以擴展到具有各種數據格式和速率的其他傳感器類型。無論您是使用軟件定義的無線電進行高帶寬頻譜分析,還是從電網監測遙測異常, NVIDIA Holoscan 都是軟件定義儀器的首選平臺。

    通過關注開發人員的生產力和應用程序性能,無論傳感器是什么,邊緣 HPC 都可以提供實時分析和任務成功。

    特色圖片由美國能源部阿貢國家實驗室高級光子源( APS )提供

    ?

    0

    標簽

    人人超碰97caoporen国产