Tom Augspurger – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Fri, 28 Feb 2025 06:18:45 +0000 zh-CN hourly 1 196178272 借助 NVIDIA KvikIO 實現高性能遠程 IO http://www.open-lab.net/zh-cn/blog/high-performance-remote-io-with-nvidia-kvikio/ Thu, 27 Feb 2025 06:02:16 +0000 http://www.open-lab.net/zh-cn/blog/?p=12989 Continued]]> 處理大量數據的工作負載 (尤其是在云端運行的工作負載) 通常會使用對象存儲服務 (S3、Google Cloud Storage、Azure Blob Storage 等) 作為數據源。對象存儲服務可以存儲和提供海量數據,但要想獲得最佳性能,可能需要根據遠程對象存儲的行為方式調整工作負載。本文適用于希望盡快將數據讀或寫到對象存儲,以便 IO 不會限制工作負載的 RAPIDS 用戶。 您對本地文件系統行為方式的一些了解可轉換為遠程對象存儲,但它們本質上是不同的。這兩者之間的最大區別 (至少對于數據分析工作負載而言) 可能在于,對象存儲上的讀取和寫入操作具有越來越高的可變延遲。每個存儲服務 (AWS、Azure) 都有自己的一套最佳實踐和性能指南。在這里,我們將提供一些專注于數據分析工作負載的一般指南。 將計算節點放置在存儲服務附近 (理想情況下,應位于同一云區域),

Source

]]>
12989
人人超碰97caoporen国产