WEKA 是可擴展軟件定義數據平臺的先驅，NVIDIA 正在攜手合作，將 WEKA 的先進數據平臺解決方案與功能強大的 NVIDIA BlueField DPU 相結合。
WEKA 數據平臺高級存儲軟件可充分發揮 AI 和性能密集型工作負載的潛力，而 NVIDIA BlueField DPU 則徹底改變了數據的訪問、移動和安全性。這些前沿技術的集成將開創數據管理效率和速度前所未有的新時代，并有望重塑高性能數據訪問的格局。
解決高效的 AI 工作流程?
AI 的迅速崛起推動了計算能力和網絡速度的指數級增長，對存儲資源提出了非常高的需求。NVIDIA GPU 可提供令人驚嘆的可擴展、高效計算能力，同時還需要高速數據訪問。
WEKA 與 NVIDIA 的合作應對了這一挑戰。它們共同滿足了對 PB 級數據進行高帶寬網絡訪問以執行模型訓練和推理任務 (包括 檢索增強型生成 (RAG)) 的關鍵需求。
該聯合解決方案專為處理豐富的圖像和視頻數據、向量數據庫以及大量元數據保存的復雜性而定制。這可確保無縫高效的 AI 工作流，使集成及時成為數據驅動創新未來的關鍵。
提高吞吐量、延遲和安全性?
合作的核心是集成 WEKA 客戶端，并使用 Virtio-FS 代碼完成。它直接在 BlueField DPU 上運行，而不是在主機服務器的 CPU 上運行。這種創新方法具有以下關鍵優勢：
- 提高吞吐量 ：BlueField 硬件加速功能可實現更快的數據傳輸速率。
- 降低延遲 ：通過在 BlueField DPU 上運行 WEKA 客戶端，數據訪問操作繞過主機 CPU，從而顯著降低延遲。
- CPU 卸載 ：通過將 WEKA 客戶端遷移到 DPU，寶貴的主機 CPU 資源可用于應用程序處理，從而有可能提高整體系統性能和效率。
- 增強安全性 ：將存儲操作卸載到 DPU 會創建額外的隔離層，從而增強整體系統安全性。
Virtio-FS 代碼實現有助于主機系統與網絡數據之間的無縫通信，在不犧牲性能的情況下實現高效的文件系統操作。通過在 BlueField DPU 上運行 WEKA 客戶端，可以從 CPU 分流文件系統任務，從而減少開銷，并釋放高達 20% 的 CPU 容量用于應用程序。
這種方法還可確保虛擬化環境中的本地文件系統效率和跨平臺兼容性。此外，Virtio-FS 旨在適應不斷發展的 DPU 技術， NVIDIA DOCA 軟件框架 可簡化未來的開發流程，并兼容新一代 NVIDIA BlueField DPU。
將 Virtio-FS 與 NVIDIA BlueField DPUs 結合使用，將高效、直接的文件共享與強大的卸載和加速功能相結合。這種協同效應可提高性能、降低系統復雜性，并支持非常適合 AI 工作負載的現代可擴展架構。
硬件加速數據處理?
用于 AI 訓練和推理的存儲提出了獨特的挑戰，每個挑戰都有不同的要求。對于大型數據集和寫入密集型操作，訓練需要高吞吐量，而推理則需要出色的讀取性能和低延遲來實現實時響應。這兩種情況通常都依賴于共享文件系統。NVIDIA BlueField DPU 通過提供硬件加速數據處理來優化訓練和推理工作負載。
針對 AI 模型訓練進行優化?
AI 模型訓練對存儲提出了巨大的需求，需要快速訪問龐大的數據池來支持 GPU 生產力。訓練過程包括定期讀取大型數據池，以及頻繁的持續寫入操作，例如日志記錄、保存檢查點和記錄指標。BlueField DPU 提供強大的寫入性能和優化的讀/寫平衡，并有效提供高 IOPS。
低延遲和高讀取性能適用于推理
AI 推理存在不同的存儲需求，需要快速訪問來自多個來源的少量數據，以保持較低的用戶響應時間。低延遲對于實時或近乎實時的處理至關重要，因為延遲會影響應用程序的響應速度和有效性。推理通常需要使用多個經過訓練的模型和其他數據源來做出快速預測或決策。BlueField DPU 提供快速讀取性能，這對于保持數據流暢運行至關重要，可為時間敏感型 AI 應用提供準確輸出。
平衡訓練和推理，提升 AI 性能和效率
訓練和推理的特定壓力略有不同。平衡這些需求對于構建高效且富有彈性的 AI 存儲架構至關重要，對于創建有效且穩健的 AI 存儲解決方案也至關重要。將 WEKA 數據平臺客戶端與 NVIDIA BlueField DPU 集成，可提高訓練和推理工作負載的存儲性能，并提高解決方案的效率和安全性。
結束語?
在 NVIDIA BlueField DPU 上運行 WEKA 客戶端的集成有助于從 WEKA 文件系統訪問文件，以充分發揮性能密集型工作負載的潛力，并提高數據的訪問、移動和安全性。
在 Supercomputing 2024 大會上，WEKA 和 NVIDIA 通過現場演示展示了集成解決方案的實際優勢。與會者見證了通過提高數據訪問速度和高效的工作負載處理來加速 AI 數據處理。我們的專家團隊隨時可以解答您的問題，并就此解決方案如何改變您的數據中心運營提供見解。
詳細了解 WEKA 與 NVIDIA 之間的合作：
