Brandon Miller – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Fri, 11 Apr 2025 06:11:39 +0000
zh-CN
hourly
1
196178272 -
高效擴展 Polars 的 GPU Parquet 讀取器
http://www.open-lab.net/zh-cn/blog/efficiently-scaling-polars-gpu-parquet-reader/
Thu, 10 Apr 2025 06:09:06 +0000
http://www.open-lab.net/zh-cn/blog/?p=13503
Continued]]>
在處理大型數據集時，數據處理工具的性能變得至關重要。 Polars 是一個以速度和效率聞名的開源數據操作庫，提供由 cuDF 驅動的 GPU 加速后端，可以顯著提高性能。 “但是，為了充分利用 Polars GPU 后端 的強大功能，必須優化數據加載過程并有效管理工作流程所需的內存。隨著 GPU 后端開發的不斷推進，在使用 GPU Parquet 閱讀器時，隨著數據集大小的增加，我們還可以使用一些其他技術來保持高性能。現有的 Polars GPU Parquet 讀取器 (到版本 24.10) 無法針對更高的數據集大小進行擴展。” 本文將探討分塊 Parquet Reader 與 Unified Virtual Memory (UVM) 相結合后，如何在性能上優于非分塊閱讀器和基于 CPU 的方法。 隨著規模系數 (SF) 的增加，
Source
]]>
13503
-
使用 NVIDIA cuDF API 中最新的 UDF 增強功能更快地原型制作
http://www.open-lab.net/zh-cn/blog/prototyping-faster-using-udfs-and-new-cudf-features/
Fri, 27 May 2022 07:07:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=4224
Continued]]>
在過去的幾個版本中， NVIDIA cuDF 團隊為用戶定義函數（ UDF ）添加了幾個新特性，這些特性可以簡化開發過程，同時提高總體性能。在本文中，我將介紹新的 UDF 增強功能，并展示如何在自己的應用程序中利用它們： 如果您不熟悉 pandas ， series apply 是用于將任意 Python 函數映射到單個數據系列的主要入口點。例如，您可能希望使用已編寫為 Python 函數的公式將攝氏溫度轉換為華氏溫度。 下面是運行此代碼的輸出后的快速刷新： 從技術上講，您可以在函數中編寫任何有效的 Python 代碼， pandas 在序列上循環運行函數。這使得在 pandas 環境中非常靈活，因為任何 UDF 都可以成功應用，只要它能夠成功處理所有輸入數據，
Source
]]>
4224
人人超碰97caoporen国产