Polars – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 10 Jul 2025 06:38:11 +0000
zh-CN
hourly
1
196178272 -
RAPIDS 新增 GPU Polars 串流、統一 GNN API 和零代碼 ML 加速功能
http://www.open-lab.net/zh-cn/blog/rapids-adds-gpu-polars-streaming-a-unified-gnn-api-and-zero-code-ml-speedups/
Thu, 03 Jul 2025 06:36:03 +0000
http://www.open-lab.net/zh-cn/blog/?p=14541
Continued]]>
RAPIDS 是一套用于 Python 數據科學的 NVIDIA CUDA-X 庫，發布了 25.06 版本，引入了令人興奮的新功能。其中包括 Polars GPU 流引擎、用于圖形神經網絡 (GNN) 的統一 API，以及用于支持向量機的加速 (無需更改代碼) 。在這篇博文中，我們將探討其中一些更新。 2024 年 9 月，我們與 Polars 團隊合作推出了基于 NVIDIA cuDF 構建的 Polars GPU 引擎。25.06 版本對 Polars GPU 引擎功能進行了一些重大更新。 在 25.06 版本中，我們在 Polars GPU 引擎中引入了流式傳輸執行。流式傳輸執行程序利用數據分區和并行處理，支持在大于 VRAM 的數據集上執行。要使用此新的流式傳輸執行程序，用戶可以將適當配置的 GPUEngine 對象傳遞給 Polars 調用：
Source
]]>
14541
-
如何在 Polars GPU 引擎中處理超過 VRAM 的數據
http://www.open-lab.net/zh-cn/blog/how-to-work-with-data-exceeding-vram-in-the-polars-gpu-engine/
Fri, 27 Jun 2025 04:08:28 +0000
http://www.open-lab.net/zh-cn/blog/?p=14462
Continued]]>
在量化金融、算法交易和欺詐檢測等高風險領域，數據從業者經常需要處理數百 GB 的數據，才能快速做出明智的決策。Polars 是發展最快的數據處理庫之一，其 GPU 引擎由 NVIDIA cuDF 提供動力支持，可加速這些領域常見的計算受限查詢，從而滿足這一需求。 但是，在使用 GPU 時，一個常見的挑戰是 VRAM ( GPU 的專用內存) 通常小于系統 RAM。在使用 GPU 引擎處理非常大的數據集時，這可能會導致問題。 本文將探討 Polars GPU 引擎中克服此限制的兩個選項。借助這些策略，您可以處理大于可用 VRAM 的數據，同時仍可從 GPU 加速中獲益： 當數據集大小開始超過 GPU 顯存時，您可以利用 NVIDIA UVM 技術。 UVM 在系統 RAM (主機內存) 和 GPU VRAM (設備內存) 之間創建統一的內存空間。
Source
]]>
14462
-
高效擴展 Polars 的 GPU Parquet 讀取器
http://www.open-lab.net/zh-cn/blog/efficiently-scaling-polars-gpu-parquet-reader/
Thu, 10 Apr 2025 06:09:06 +0000
http://www.open-lab.net/zh-cn/blog/?p=13503
Continued]]>
在處理大型數據集時，數據處理工具的性能變得至關重要。 Polars 是一個以速度和效率聞名的開源數據操作庫，提供由 cuDF 驅動的 GPU 加速后端，可以顯著提高性能。 “但是，為了充分利用 Polars GPU 后端 的強大功能，必須優化數據加載過程并有效管理工作流程所需的內存。隨著 GPU 后端開發的不斷推進，在使用 GPU Parquet 閱讀器時，隨著數據集大小的增加，我們還可以使用一些其他技術來保持高性能。現有的 Polars GPU Parquet 讀取器 (到版本 24.10) 無法針對更高的數據集大小進行擴展。” 本文將探討分塊 Parquet Reader 與 Unified Virtual Memory (UVM) 相結合后，如何在性能上優于非分塊閱讀器和基于 CPU 的方法。 隨著規模系數 (SF) 的增加，
Source
]]>
13503
-
在 NVIDIA Grace CPU 上使用 Polars 和 Apache Spark 實現高效 ETL
http://www.open-lab.net/zh-cn/blog/efficient-etl-with-polars-and-apache-spark-on-nvidia-grace-cpu/
Tue, 11 Mar 2025 06:37:40 +0000
http://www.open-lab.net/zh-cn/blog/?p=13354
Continued]]>
NVIDIA Grace CPU 超級芯片可為數據中心和云端的 CPU 工作負載提供出色的性能和出色的能效。NVIDIA Grace 的優勢包括高性能 Arm Neoverse V2 核心、NVIDIA 設計的快速可擴展一致性結構（Scalable Coherency Fabric）以及低功耗高帶寬 LPDDR5X 內存。 這些功能使 Grace CPU 成為處理 提取、加載、轉換 (ETL) 工作負載的理想選擇，展現出出色的性能。ETL 工作負載是在線分析處理 (OLAP) 和商業智能 (BI) 工作流的關鍵組成部分，使企業能夠獲得見解并改進組織決策制定。 本文介紹了 NVIDIA Grace CPU 如何提供解決方案，在不影響性能的情況下，在單節點 Polars 和多節點 Apache Spark 上運行 ETL 工作負載時降低功耗。
Source
]]>
13354
-
NVIDIA RAPIDS 24.10 版本發布零代碼修改加速 NetworkX 和 UMAP 及 cuDF-Pandas 新功能
http://www.open-lab.net/zh-cn/blog/nvidia-rapids-24-10-introduces-accelerated-networkx-with-zero-code-change-updates-for-umap-and-cudf-pandas/
Wed, 13 Nov 2024 07:32:47 +0000
http://www.open-lab.net/zh-cn/blog/?p=12048
Continued]]>
RAPIDS v24.10 版本 在為數據科學家和開發者提供無縫用戶體驗方面又向前邁出了一步。這篇博文重點介紹了以下新功能： 從 NetworkX 3.4 開始，由 RAPIDS cuGraph 加速的 NetworkX 現已在 24.10 版本中正式發布。該版本增加了 GPU 加速的圖形創建、新的用戶體驗和 擴展文檔 。 加速圖形構建可實現 NetworkX 工作流程的全面端到端加速，對于 CPU 和 GPU 之間的轉換可能會降低性能的大型圖形工作流程尤其重要。 現在，通過將 環境變量設置為 True，可以啟用完整的端到端加速 NetworkX 體驗。 端到端加速使使用 betweenness centrality、PageRank 等算法的工作流程能夠在更大的圖形上體驗高達 10 倍、50 倍甚至 500 倍的加速。
Source
]]>
12048
-
NVIDIA CUDA-X 現可加速 Polars 數據處理庫
http://www.open-lab.net/zh-cn/blog/nvidia-cuda-x-now-accelerates-the-polars-data-processing-library/
Tue, 08 Oct 2024 07:52:07 +0000
http://www.open-lab.net/zh-cn/blog/?p=11450
Continued]]>
Polar 是發展最快的數據分析工具之一，每月的下載量剛剛突破 900 萬次。作為現代 DataFrame 庫，它旨在高效處理適合在單臺機器上運行的數據集，而不會產生大規模工作負載所需的分布式計算系統的開銷和復雜性。 隨著企業不斷處理復雜的數據問題——從檢測信用卡交易中的時間限制模式到管理全球客戶群快速變化的庫存需求——更高的性能至關重要。 Polars 和 NVIDIA 工程師剛剛發布了由 RAPIDS cuDF 提供支持的 Polars GPU 引擎 的公開測試版，將加速計算引入到不斷發展的 Polars 社區，無需更改代碼。這進一步加速了 Polars 的查詢執行，與在 CPU 上運行相比，這款快速數據處理軟件的速度提高了 13 倍。這就像為獵豹提供火箭燃料，幫助它更快地沖刺。 Polars 的作者兼首席執行官 Ritchie Vink 表示：
Source
]]>
11450
人人超碰97caoporen国产