Yan Cheng – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 17 Apr 2025 05:49:19 +0000
zh-CN
hourly
1
196178272 -
在大型語言模型時代，通過消息量化和流式傳輸實現高效的聯邦學習
http://www.open-lab.net/zh-cn/blog/efficient-federated-learning-in-the-era-of-llms-with-message-quantization-and-streaming/
Wed, 16 Apr 2025 05:23:34 +0000
http://www.open-lab.net/zh-cn/blog/?p=13572
Continued]]>
聯邦學習 (Federated Learning, FL) 已成為一種在分布式數據源中訓練機器學習模型的有前景的方法，同時還能保護數據隱私。但是，在平衡模型要求和通信能力時，FL 面臨著與通信開銷和本地資源限制相關的重大挑戰。 特別是在當前的大語言模型 (LLMs) 時代，FL 在部署具有數十億參數的 LLMs 時面臨著計算挑戰。這些模型的龐大規模加劇了通信和內存限制。由于帶寬限制，一次性傳輸完整的模型更新可能不可行，并且本地內存限制可能會使處理大型模型進行通信具有挑戰性。解決這些問題需要創新策略。 NVIDIA FLARE 是一款與領域無關、開源且可擴展的聯邦學習 SDK，通過引入可靠的通信功能、對多個并發訓練作業的支持以及針對可能因網絡條件而中斷的作業的魯棒性，增強了現實世界的聯邦學習體驗。 NVFlare 2.4.0 版本引入了流式傳輸 API，
Source
]]>
13572
-
借助 NVIDIA FLARE 和 Meta ExecuTorch，在移動設備上輕松進行聯邦學習
http://www.open-lab.net/zh-cn/blog/effortless-federated-learning-on-mobile-with-nvidia-flare-and-meta-executorch/
Fri, 11 Apr 2025 05:41:04 +0000
http://www.open-lab.net/zh-cn/blog/?p=13578
Continued]]>
NVIDIA 和 Meta 的 PyTorch 團隊宣布開展突破性合作，通過集成 NVIDIA FLARE 和 ExecuTorch ，將聯邦學習 (FL) 功能引入移動設備。 NVIDIA FLARE 是一款與領域無關、開源、可擴展的 SDK，使研究人員和數據科學家能夠根據聯合范式調整現有的機器學習或深度學習工作流程。它還使平臺開發者能夠為分布式多方協作構建安全、隱私保護的產品。 ExecuTorch 是一種端到端解決方案，可跨移動和邊緣設備實現設備端推理和訓練功能。它是 PyTorch Edge 生態系統的一部分，支持將各種 PyTorch 模型高效部署到邊緣設備。 通過集成這兩者，我們為您提供了一個解決方案，讓您在移動設備上利用 FL 的強大功能，同時保護用戶隱私和數據安全。要啟用跨設備 FL，有兩個關鍵組件： 借助 NVIDIA FLARE 和…
Source
]]>
13578
-
利用 XGBoost 中的 CUDA 加速同態加密實現聯邦學習數據隱私安全性
http://www.open-lab.net/zh-cn/blog/security-for-data-privacy-in-federated-learning-with-cuda-accelerated-homomorphic-encryption-in-xgboost/
Wed, 18 Dec 2024 09:22:20 +0000
http://www.open-lab.net/zh-cn/blog/?p=12489
Continued]]>
XGBoost 是一種廣泛用于表格數據建模的機器學習算法。為了將 XGBoost 模型從單站點學習擴展到多站點協作訓練，NVIDIA 開發了 Federated XGBoost ，這是一種用于聯邦學習的 XGBoost 插件。它包括用于跨去中心化數據源聯合訓練 XGBoost 模型的垂直協作設置，以及 水平直方圖和樹的聯合學習 。 在垂直環境下，每個方擁有面向全體人口的部分特征，并且只有一個方持有該標簽。標簽所有者被稱為主動方，而所有其他方都是被動方。在橫向設置下，每個方擁有所有特征和標簽信息，但僅限部分人口。 此外， NVIDIA FLARE 是一款與領域無關、開源且可擴展的聯邦學習 SDK，通過引入處理通信挑戰的功能來增強現實世界的聯邦學習體驗。其中包括多項并發訓練作業，以及可能因網絡條件而中斷的作業。 目前，
Source
]]>
12489
-
NVIDIA FLARE 助力聯邦 XGBoost 實現實用高效
http://www.open-lab.net/zh-cn/blog/federated-xgboost-made-practical-and-productive-with-nvidia-flare/
Fri, 28 Jun 2024 05:21:48 +0000
http://www.open-lab.net/zh-cn/blog/?p=10546
Continued]]>
XGBoost 是一種高效且可擴展的機器學習算法，廣泛應用于回歸、分類和排名任務。它基于梯度提升原則，將多個弱學習者（通常是決策樹）的預測結合起來，以生成穩健的整體模型。 XGBoost 在處理大型數據集和復雜數據結構方面表現優異，這要歸功于其高效的實施和高級功能，如正則化、并行處理和處理缺失值。其通用性和高性能使其成為各行各業數據科學競賽和實際應用的熱門選擇。 XGBoost 1.7.0 版本引入了 Federated XGBoost，使多個機構能夠無需移動數據即可聯合訓練 XGBoost 模型。在 XGBoost 2.0.0 版本中，此功能得到進一步增強，以支持垂直聯合學習。OSS Federated XGBoost 提供 Python APIs 用于模擬基于 XGBoost 的聯合訓練。 自 2023 年以來，NVIDIA 聯邦學習應用程序運行時環境 (FLARE)…
Source
]]>
10546
人人超碰97caoporen国产