• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • 數據中心/云端

    使用 NVIDIA DOCA 2.2 加速數據中心工作負載和 AI 應用程序

    ?

    NVIDIA DOCA SDK 和加速框架為開發人員提供了豐富的庫、驅動程序和 API,以便為 NVIDIA BlueField DPUConnectX SmartNIC 創建高性能應用程序和服務。它推動了數據中心的創新,實現了應用程序的快速部署。

    憑借全面的功能, NVIDIA DOCA 為 BlueField 開發人員提供了一站式服務,他們希望大規模加速數據中心工作負載和人工智能應用程序。

    NVIDIA DOCA 已經有超過 10000 名開發者受益,現在已經普遍可用,允許訪問更廣泛的開發者社區,以利用 BlueField DPU 平臺提供創新的人工智能和云服務。

    新的 NVIDIA DOCA 2.2 功能和增強

    NVIDIA DOCA 2.2 引入了新功能和增強功能,用于卸載、加速和隔離數據中心內的網絡、存儲、安全和管理基礎設施。

    視頻 1。觀看 NVIDIA DOCA 軟件框架介紹

    可編程性

    NVIDIA BlueField-3 DPU 與其板載專用數據路徑加速器(DPA)和 DOCA SDK 框架相結合,提供了一個無與倫比的平臺。現在,開發人員可以創建要求高吞吐量和低延遲的高性能和可擴展的網絡應用程序。

    數據路徑加速器

    NVIDIA DOCA 2.2 提供了一些增強功能,以利用 BlueField-3 DPA 編程子系統。 DOCA DPA 是 DOCA SDK 包的一個新計算子系統部分,它提供了一個編程模型,用于卸載在 DPA 處理器上運行的以通信為中心的用戶代碼。 DOCA DPA 有助于卸載 CPU 流量,并通過 DPU 加速提高性能。

    The internal infrastructure of a BlueField-3 DPU and highlights the incoming and outgoing traffic moving between the GPU and CPU through the datapath accelerator and accelerated programmable pipeline
    圖 1。 NVIDIA BlueField-3 DPU 進出流量

    DOCA DPA 還提供了顯著的開發優勢,包括在創建自定義模擬和擁塞控制時具有更大的靈活性。定制的擁塞控制對于人工智能工作流至關重要,可以實現性能隔離、提高公平性,并防止有損網絡上的數據包丟失。

    DOCA 2.2 版本引入了以下 SDK:

    DOCA-FlexIO:這是一個用于 DPA 編程的低級 SDK。具體來說,DOCA FlexIO 驅動程序提供了 API,用于通過 DPA 管理和運行代碼。

    DOCA-PCC:這是一個用于擁塞控制開發的 SDK,它使 CSP 和企業客戶能夠創建自己的擁塞控制算法,從而通過提高帶寬和降低延遲來增強網絡操作的穩定性和效率。

    NVIDIA 還提供必要的工具鏈、示例和輔助資料,以加快和支持開發工作。請注意, NVIDIA DOCA DPA 在 DPU 模式和 NIC 模式下都可用。

    Two individual line graphs highlighting the 3x improvements to bandwidth and 2x improvements to latency when running an AI workload as a result of enabling DOCA-PCC
    圖 2: DOCA-PCC 提供更高的帶寬和更低的延遲

    網絡

    NVIDIA DOCA 和 BlueField-3 DPU 通過一個全面、開放的開發平臺,共同開發出具有突破性網絡性能的應用程序。 NVIDIA DOCA 包括一系列驅動程序、庫、工具和示例應用程序,不斷發展。此版本提供了以下附加功能,以支持網絡應用程序的開發。

    NVIDIA DOCA 流量

    通過 NVIDIA DOCA Flow,用戶可以定義和控制網絡流量,實現網絡策略,并以編程方式管理網絡資源。它提供網絡虛擬化、遙測、負載平衡、安全強制和流量監控等功能。這些功能有利于以低延遲處理高數據包工作負載,節省 CPU 資源并降低功耗。

    此版本包括以下新功能,可為云部署帶來即時好處:

    支持隧道卸載- GENEVE 和 GRE: 提供增強的安全性、可見性、可擴展性、靈活性和可擴展性是站點通信、網絡隔離和多租戶的構建塊。具體而言,GRE 隧道用于連接單獨的網絡并建立安全的 VPN 通信支持覆蓋網絡,提供協議靈活性,并實現流量工程。

    支持帶有 bps/pps 選項的每個流量計:在云環境中,監控/分析流量(即測量帶寬或數據包速率)、管理 QoS(即強制限制)或增強安全性(即阻止拒絕服務攻擊)都至關重要。

    增強的鏡像功能(FDB / 交換機域):這項新增功能不僅用于監控、故障排除、安全分析和性能優化,還能為鏡像工作負載提供更高的 CPU 利用率。

    OVS- DOCA (Beta)

    OVS-DOCA 是 NVIDIA 網絡服務的高度優化虛擬交換機。其高效的設計通過 NVIDIA NIC 或 DPU 提升了下一代性能和規模。現在,OVS-DOCA 可以在 DOCA 中用于 DPU ,也可以在 DOCA 中用于主機(二進制文件和源代碼)。

    A block diagram highlighting OVS-DOCA and its position relative to OVS-DPDK, OVS-Kernel, OVS, CLI, and OpenFlow
    圖 3。OVS- DOCA 針對 NVIDIA 網絡服務進行了優化

    基于 Open vSwitch,OVS-DOCA 提供了相同的北行 API、OpenFlow、CLI 和數據接口,為 OVS 提供了一種替代方案。使用 OVS-DOCA 可以更快地實現未來 NVIDIA 創新的網絡功能。

    BlueField-3(增強型)NIC 模式(Beta 版)

    此版本受益于增強的 BlueField-3 NIC 模式,目前處于測試版。與 BlueField-3 DPU 模式不同,其中卸載、加速和隔離都可用, BlueField-3 NIC 模式僅提供加速功能。

    High-level overview of the internal infrastructure of a BlueField-3 DPU and highlights the East-West traffic moving across the DPU using the data path accelerator and accelerated programmable pipeline
    圖 4。 BlueField-3(增強型)NIC 模式

    在繼續利用 BlueField 低功耗和低計算密集型 SKU 的同時,增強的 BlueField-3 NIC 模式比當前的 ConnectX BlueField-2 NIC 模式具有許多優勢,包括:

    • 使用本地 DPU 內存實現更高的性能和更低的延遲
    • 具有可編程擁塞控制(PCC)的 Performant RDMA
    • 具有 DPA 和其他 BlueField 加速器的可編程性
    • 具有設備認證和卡上 BMC 的強大平臺安全性

    請注意, BlueField-3 NIC 模式將作為軟件模式而非單獨的 SKU 進行產品化,以實現未來 DPU-模式的使用。因此, BlueField-3 NIC 模式是所有 BlueField-3 SKU 上都可以使用的完全支持的軟件功能。在 NIC 模式下運行的任何 BlueField-3 DPU 的 DPA 可編程性要求在主機上安裝 DOCA 和基于主動主機的服務。

    服務

    NVIDIA DOCA 是一種基于 ZFK 的容器化服務,為特定用例提供端到端解決方案。這些服務可以通過 NVIDIA 的 NGC 獲得,從而可以輕松地將它們直接部署到 DPU。DOCA 2.2 提供了更大的控制能力,現在可以離線安裝 DOCA 服務。

    NGC 離線服務安裝

    NGC 安裝 DOCA 服務需要互聯網連接。然而,許多客戶在沒有互聯網接入的安全生產環境中運營。因此,我們提供了“非連接”部署選項,可以在完全安全的生產環境中安裝服務,簡化流程,避免了每個服務器都需要連接才能完成安裝過程的情況。

    例如,考慮在生產環境中安裝 DOCA 遙測服務(DTS)以支持度量收集。整個安裝過程只需兩個步驟即可完成:

    • 步驟 1:在連接的服務器上下載 NGC
    • 步驟 2:使用內部安全傳遞進行離線安裝

    總結

    NVIDIA DOCA 2.2 在推動數據中心創新以及為人工智能應用改造云和企業數據中心網絡方面發揮著關鍵和不可或缺的作用。通過為 BlueField DPU 提供全面的 SDK 和加速框架, DOCA 為開發人員提供了強大的庫、驅動程序和 API,從而能夠創建高性能的應用程序和服務。

    DOCA 2.2 有了一些新功能和增強,可以立即獲得許多好處。除了通過 DPU 加速實現的性能提升外, DOCA-FlexIO 和 DOCA-PCC SDK 的加入為開發人員提供了以人工智能為中心的加速計算優勢。這些 SDK 能夠創建自定義仿真和算法,縮短上市時間,并顯著改善整體開發體驗。

    此外, NVIDIA DOCA FLOW 和 OVS- DOCA 的網絡特定更新為軟件定義的網絡和安全解決方案提供了簡化的交付途徑。這些功能提高了效率,增強了可見性、可擴展性和靈活性,對于構建復雜而安全的基礎架構至關重要。

    DOCA 為數據中心創新、人工智能應用加速和強大的網絡基礎設施做出了廣泛貢獻,是 NVIDIA 人工智能云服務的重要組成部分。隨著行業朝著更復雜、更苛刻的計算需求發展, DOCA 的不斷發展以及與尖端技術的集成將進一步鞏固其作為開創性平臺的地位,為數據中心和人工智能驅動的解決方案的未來賦能。

    下載 NVIDIA DOCA 以開始享受 DOCA 所提供的所有好處并開始您的開發之旅。有關詳細信息,請參閱以下資源:

    ?

    +1

    標簽

    人人超碰97caoporen国产