GPUDirect – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Tue, 18 Feb 2025 06:14:45 +0000 zh-CN hourly 1 196178272 NVIDIA Spectrum-X 網絡平臺和合作伙伴提升 AI 存儲性能達48% http://www.open-lab.net/zh-cn/blog/accelerating-ai-storage-by-up-to-48-with-nvidia-spectrum-x-networking-platform-and-partners/ Tue, 04 Feb 2025 06:56:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=12761 Continued]]> AI 工廠依靠的不僅僅是計算網。當然，連接 GPU 的東西向網絡對于 AI 應用的性能至關重要，而連接高速存儲陣列的存儲網也不容忽視。存儲性能在運行 AI 業務過程中的多個階段中發揮著關鍵作用, 包括訓練過程中的Checkpoint操作、 推理過程中的檢索增強生成 (RAG) 等。 為了滿足這些需求，NVIDIA 和存儲生態合作伙伴正在將 NVIDIA Spectrum-X 網絡平臺 擴展到數據存儲網，從而帶來更高的性能和更快的實現AI的時間。由于 Spectrum-X 動態路由技術能夠緩解網絡中的流量沖突并增加有效帶寬，從而使存儲性能遠高于 RoCE v2，RoCE v2是大多數數據中心用于 AI 計算網和存儲網的以太網網絡協議。 Spectrum-X 將讀取帶寬加速了高達 48%，寫入帶寬加速了高達 41%。帶寬的增加可以更快地完成 AI 工作流中與存儲相關的操作，

Source

]]> 12761 使用 NVIDIA DOCA GPUNetIO 解鎖 GPU 加速的 RDMA http://www.open-lab.net/zh-cn/blog/unlocking-gpu-accelerated-rdma-with-nvidia-doca-gpunetio/ Thu, 13 Jun 2024 09:21:03 +0000 http://www.open-lab.net/zh-cn/blog/?p=10482 Continued]]> NVIDIA DOCA GPUNetIO是 NVIDIA DOCA SDK 中的一個庫，專門為實時內聯 GPU 數據包處理而設計。它結合了GPUDirect RDMA和GPUDirect Async等技術，能夠創建以 GPU 為中心的應用程序，其中 CUDA 內核可以直接與網絡接口卡（NIC）通信，用于發送和接收數據包，繞過 CPU 并將其排除在關鍵路徑之外。 DOCA GPUNetIO 的核心原理和用途已在前幾篇文章《Inline GPU Packet Processing with NVIDIA DOCA GPUNetIO》和《Realizing the Power of Real-Time Network Processing with NVIDIA DOCA GPUNetIO》以及DOCA GPUNetIO 編程指南中進行了討論。 此前，

Source

]]> 10482 使用 NVIDIA AI Enterprise 3.0 優化生產 AI 性能和效率 http://www.open-lab.net/zh-cn/blog/optimizing-production-ai-performance-and-efficiency-with-nvidia-ai-enterprise-3-0/ Wed, 22 Feb 2023 03:05:48 +0000 http://www.open-lab.net/zh-cn/blog/?p=6343 Continued]]> NVIDIA AI Enterprise 是一個端到端、安全的云原生 AI 軟件套件。最近發布的 NVIDIA AI Enterprise 3.0 引入了新功能，以幫助優化生產 AI 的性能和效率。本文提供了以下新功能及其工作原理的詳細信息。 NVIDIA AI Enterprise 3.0 版本中的新 AI 工作流有助于縮短生產 AI 的開發時間。這些工作流是常見 AI 用例的參考應用程序，包括聯絡中心智能虛擬助理、音頻轉錄和數字指紋。 未加密的預訓練模型也首次包括在內，確保了 AI 的可解釋性，并使開發人員能夠查看模型的權重和偏差，了解模型偏差。 NVIDIA AI Enterprise 現在支持 NGC catalog 中發布的所有 NVIDIA 人工智能軟件。開始 NGC 之旅的開發者現在可以無縫過渡到 NVIDIA AI Enterprise 訂閱，

Source

]]> 6343 使用 NVIDIA Magnum IO NVSHMEM 和 GPUDirect Async 提高 HPC 系統的網絡性能 http://www.open-lab.net/zh-cn/blog/improving-network-performance-of-hpc-systems-using-nvidia-magnum-io-nvshmem-and-gpudirect-async/ Tue, 22 Nov 2022 11:04:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5800 Continued]]> 今天的前沿 高性能計算 （ HPC ）系統包含數以萬計的 GPU 。在 NVIDIA 系統中， GPU 通過 NVLink 擴展互連在節點上連接，并通過 InfiniBand 等擴展網絡跨節點連接。 GPU 用于并行通信、共享工作和高效運行的軟件庫統稱為 NVIDIA Magnum IO ，是用于并行、異步和智能數據中心 IO 的架構。 對于許多應用，擴展到這樣的大型系統需要 GPU 之間的細粒度通信的高效率。這對于以強伸縮性為目標的工作負載尤其重要，因為在工作負載中添加了計算資源以減少解決給定問題的時間。 NVIDIA Magnum IO NVSHMEM 是一個基于 OpenSHMEM 規范的通信庫，它為 HPC 系統中所有 GPU 的存儲器提供分區全局地址空間（ PGAS ）數據訪問模型。 由于該庫支持 GPU 集成通信，因此對于以強擴展為目標的工作負載而言，

Source

]]> 5800 內窺鏡中的人工智能：通過實時傳感提高檢測率和可見性 http://www.open-lab.net/zh-cn/blog/ai-in-endoscopy-improving-detection-rates-and-visibility-with-real-time-sensing/ Tue, 30 Aug 2022 05:41:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5017 Continued]]> 人工智能的臨床應用正在改善數字化手術，有助于減少錯誤，提供一致性，并實現以前無法想象的外科醫生增強。 內窺鏡檢查是一種用于檢查身體器官或體腔內部的微創手術，人工智能和加速計算能夠提高檢測率和可見性。 例如，內窺鏡醫生可以通過燒灼出血的血管來調查癥狀、診斷和治療患者。有多種形式的內鏡檢查，其中許多側重于影響消化道的胃腸病。 結腸鏡檢查是胃腸道內窺鏡檢查的最常見形式之一，對于發現結直腸癌是必不可少的 美國癌癥協會預測 2022 年將影響超過 150000 人。 在人工智能的幫助下，內窺鏡等手術變得更加安全和一致，同時減少了外科醫生的工作量。機器學習算法增強的任務包括標記、清除手術煙霧、分類氣道疾病、識別氣道大小、識別病變和病變組織，以及自動計算儀器的最佳物理路徑。 為了實現這些臨床應用，正在為特定任務開發技術算法： 在內窺鏡檢查中，

Source

]]> 5017 使用 Clara Holoscan 為 AI 驅動的醫療設備支持低延遲流媒體視頻 http://www.open-lab.net/zh-cn/blog/supporting-low-latency-streaming-video-for-ai-powered-medical-devices-with-clara-holoscan/ Mon, 15 Nov 2021 07:18:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=2329 Continued]]> NVIDIA Clara Holoscan 為開發人員提供了一個可擴展的醫療設備計算平臺，以創建人工智能微服務并實時提供見解。該平臺優化了數據管道的每個階段：從高帶寬數據流和基于物理的分析到加速 AI 推理和圖形可視化。 目前可用的 NVIDIA Clara AGX Developer Kit 將 AGX Xavier SoC的高效基于Arm的嵌入式計算與 NVIDIA ConnectX-6 network processor 強大的 NVIDIA RTX 6000 GPU 和100GbE連接相結合。這為下一代智能、軟件定義的嵌入式醫療設備帶來了實時AI加速。開發者使用 Clara AGX開發者工具包進行外科視頻應用，如AI增強內窺鏡檢查、腹腔鏡檢查或其他微創手術，需要在其視頻處理路徑中盡可能減少端到端延遲。客戶今天可以在 Clara AGX開發工具包上使用 Clara…

Source

]]> 2329 人人超碰97caoporen国产