Elena Agostini – NVIDIA 技術博客

使用 NVIDIA DOCA GPUNetIO 解鎖 GPU 加速的 RDMA

Thu, 13 Jun 2024 09:21:03 +0000

NVIDIA DOCA GPUNetIO是 NVIDIA DOCA SDK 中的一個庫，專門為實時內聯 GPU 數據包處理而設計。它結合了GPUDirect RDMA和GPUDirect Async等技術，能夠創建以 GPU 為中心的應用程序，其中 CUDA 內核可以直接與網絡接口卡（NIC）通信，用于發送和接收數據包，繞過 CPU 并將其排除在關鍵路徑之外。 DOCA GPUNetIO 的核心原理和用途已在前幾篇文章《Inline GPU Packet Processing with NVIDIA DOCA GPUNetIO》和《Realizing the Power of Real-Time Network Processing with NVIDIA DOCA GPUNetIO》以及DOCA GPUNetIO 編程指南中進行了討論。此前，

Source

]]>

用 NVIDIA DOCA GPUNetIO 實現實時網絡處理能力

Mon, 24 Jul 2023 03:34:05 +0000

網絡流量的實時處理可以通過高并行度 GPU 來利用。在這些類型的應用程序中優化數據包獲取或傳輸可以避免瓶頸，并使整體執行能夠跟上高速網絡的步伐。在這種情況下， DOCA GPU NetIO 將 GPU 提升為一個獨立的組件，可以在沒有 CPU 干預的情況下執行網絡和計算任務。這篇文章提供了一個 GPU 分組處理應用程序的列表，重點關注不同和不相關的上下文。其中，NVIDIA DOCA GPUNetIO已被集成，以降低延遲并最大限度地提高性能。 NVIDIA DOCA software framework中的 NVIDIA DOCA GPUNetIO 是 DOCA CUDA NetIO 庫，它通過一個或多個 GPU 內核實現 NIC 和 GPU 之間的直接通信，從而從關鍵路徑中移除 CPU。使用 GPU DOCA NetIO 庫中的 CUDA 設備函數，

Source

]]>

使用 NVIDIA DOCA GPUNetIO 進行內聯 GPU 數據包處理

Wed, 14 Dec 2022 06:06:00 +0000

越來越多的網絡應用程序需要進行 GPU 實時數據包處理，以實現高數據率解決方案：數據過濾、數據放置、網絡分析、傳感器信號處理等。一個主要動機是 GPU 可以實現并行處理多個數據包的高度并行性，同時提供可擴展性和可編程性。有關這些技術的基本概念以及基于 DPDK gpudev 庫的初始解決方案的概述，請參見 Boosting Inline Packet Processing Using DPDK and GPUdev with GPUs 。這篇文章解釋了新的 NVIDIA DOCA GPUNetIO 庫如何克服以前 DPDK 解決方案中的一些限制，向以 GPU 為中心的數據包處理應用程序邁進了一步。網絡分組的實時 GPU 處理是一種適用于幾個不同應用領域的技術，包括信號處理、網絡安全、信息收集和輸入重建。這些應用程序的目標是實現一個內聯數據包處理管道，

Source

]]>

通過 GPU 使用 DPDK 和 GPUdev 增強內聯數據包處理

Thu, 28 Apr 2022 09:34:00 +0000

使用 GPU 對網絡數據包進行內聯處理是一種數據包分析技術，可用于許多不同的應用領域：信號處理、網絡安全、信息收集、輸入重建等。這些應用程序類型的主要要求是盡快將接收到的數據包移動到 GPU 內存中，以觸發負責對其執行并行處理的 CUDA 內核。總體思路是創建一個連續的異步管道，能夠將數據包從網卡直接接收到 GPU 內存中。您還可以使用 CUDA 內核來處理傳入的數據包，而無需同步 GPU 和 CPU 。有效的應用程序工作流包括使用無鎖通信機制在以下播放器組件之間創建一個協調的連續異步管道：圖 1 顯示了使用 NVIDIA GPU 和 ConnectX 網卡的加速內聯數據包處理應用程序的典型數據包工作流場景。在這種情況下，避免延遲是至關重要的。不同組件之間的通信越優化，系統的響應速度就越快，吞吐量也就越高。每一步都必須在所需資源可用時以內聯方式進行，

Source

]]>