Erik Ordentlich – NVIDIA 技術博客

在 NVIDIA GPU 上無需更改代碼即可加速 Apache Spark ML

Thu, 06 Mar 2025 05:26:23 +0000

適用于 Apache Spark 軟件插件的 NVIDIA RAPIDS 加速器開創了零代碼更改用戶體驗 (UX)，可用于 GPU 加速數據處理。無需更改查詢或源代碼，即可將 NVIDIA GPU 上基于 Apache Spark SQL 和 DataFrame 的現有應用程序加速 9 倍以上。這催生了新的 Spark RAPIDS ML Python 庫，可將應用程序的速度提高 100 多倍，同時還調用了 Apache Spark 的可擴展機器學習庫 MLlib 。直到最近，Spark RAPIDS ML 的 MLlib 加速仍需要稍作修改，才能讓 Python 使用加速實現。具體來說，您需要在希望加速的 ML 類的 Python 導入語句中，將替換為。例如，要使用加速的 KMeans 而不是基準 KMeans，

Source

]]>

使用 Spark RAPID ML 庫中的新算法降低 Apache Spark ML 計算成本

Tue, 24 Oct 2023 05:47:26 +0000

Spark RAPID ML 是一個開源 Python 包，它可以使 NVIDIA GPU 加速 PySpark MLlib。它提供了與 PySpark MLlib DataFrame API 兼容，并在使用支持的算法進行訓練時加速。想要了解更多信息，請查看新的 GPU 庫降低 Apache Spark ML 的計算成本。 PySpark MLlib DataFrame API 的兼容性意味著它可以更容易地融入現有的 PySpark ML 應用程序，最多只需更改包導入。K-means 算法如下所示。更改包導入是使用此庫啟用 GPU 加速所需的唯一額外步驟。在 GPU 加速的 Databricks 的 AWS 托管 Spark 服務上，在三節點 Spark 集群中運行的基準測試套件中使用支持的算法進行培訓，

Source

]]>

新的 GPU 庫降低了 Apache Spark ML 的計算成本

Tue, 18 Apr 2023 03:24:38 +0000

Spark MLlib是Apache Spark用于大規模machine learning并且提供了許多流行的機器學習算法的內置實現。這些實現創建于十年前，但沒有利用現代計算加速器，如 NVIDIA GPU 。為了解決這一差距，我們最近開源了 Spark RAPIDS ML(NVIDIA/spark-rapids-ml) ，一個 Python 包，為 Py Spark ML 應用程序提供 GPU 加速。通過這樣做，我們實現了以下關鍵目標：您可以從NVIDIA/spark-rapids-mlApache v2 許可證下的 GitHub 存儲庫。初始版本為以下 Spark ML 算法提供了 GPU 加速度：該版本還包括以下內容的 Spark ML API 兼容版本：我們之所以最初選擇算法，是因為我們的第三個目標：盡可能使用現有的 NVIDIA 加速 ML 庫。

Source

]]>