Zhihong Zhang – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Thu, 17 Apr 2025 05:49:19 +0000 zh-CN hourly 1 196178272 在大型語言模型時代,通過消息量化和流式傳輸實現高效的聯邦學習 http://www.open-lab.net/zh-cn/blog/efficient-federated-learning-in-the-era-of-llms-with-message-quantization-and-streaming/ Wed, 16 Apr 2025 05:23:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=13572 Continued]]> 聯邦學習 (Federated Learning, FL) 已成為一種在分布式數據源中訓練機器學習模型的有前景的方法,同時還能保護數據隱私。但是,在平衡模型要求和通信能力時,FL 面臨著與通信開銷和本地資源限制相關的重大挑戰。 特別是在當前的大語言模型 (LLMs) 時代,FL 在部署具有數十億參數的 LLMs 時面臨著計算挑戰。這些模型的龐大規模加劇了通信和內存限制。由于帶寬限制,一次性傳輸完整的模型更新可能不可行,并且本地內存限制可能會使處理大型模型進行通信具有挑戰性。解決這些問題需要創新策略。 NVIDIA FLARE 是一款與領域無關、開源且可擴展的聯邦學習 SDK,通過引入可靠的通信功能、對多個并發訓練作業的支持以及針對可能因網絡條件而中斷的作業的魯棒性,增強了現實世界的聯邦學習體驗。 NVFlare 2.4.0 版本引入了流式傳輸 API,

Source

]]>
13572
借助 NVIDIA FLARE 和 Meta ExecuTorch,在移動設備上輕松進行聯邦學習 http://www.open-lab.net/zh-cn/blog/effortless-federated-learning-on-mobile-with-nvidia-flare-and-meta-executorch/ Fri, 11 Apr 2025 05:41:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=13578 Continued]]> NVIDIA 和 Meta 的 PyTorch 團隊宣布開展突破性合作,通過集成 NVIDIA FLARE 和 ExecuTorch ,將聯邦學習 (FL) 功能引入移動設備。 NVIDIA FLARE 是一款與領域無關、開源、可擴展的 SDK,使研究人員和數據科學家能夠根據聯合范式調整現有的機器學習或深度學習工作流程。它還使平臺開發者能夠為分布式多方協作構建安全、隱私保護的產品。 ExecuTorch 是一種端到端解決方案,可跨移動和邊緣設備實現設備端推理和訓練功能。它是 PyTorch Edge 生態系統的一部分,支持將各種 PyTorch 模型高效部署到邊緣設備。 通過集成這兩者,我們為您提供了一個解決方案,讓您在移動設備上利用 FL 的強大功能,同時保護用戶隱私和數據安全。要啟用跨設備 FL,有兩個關鍵組件: 借助 NVIDIA FLARE 和…

Source

]]>
13578
利用 XGBoost 中的 CUDA 加速同態加密實現聯邦學習數據隱私安全性 http://www.open-lab.net/zh-cn/blog/security-for-data-privacy-in-federated-learning-with-cuda-accelerated-homomorphic-encryption-in-xgboost/ Wed, 18 Dec 2024 09:22:20 +0000 http://www.open-lab.net/zh-cn/blog/?p=12489 Continued]]> XGBoost 是一種廣泛用于表格數據建模的機器學習算法。為了將 XGBoost 模型從單站點學習擴展到多站點協作訓練,NVIDIA 開發了 Federated XGBoost ,這是一種用于聯邦學習的 XGBoost 插件。它包括用于跨去中心化數據源聯合訓練 XGBoost 模型的垂直協作設置,以及 水平直方圖和樹的聯合學習 。 在垂直環境下,每個方擁有面向全體人口的部分特征,并且只有一個方持有該標簽。標簽所有者被稱為主動方,而所有其他方都是被動方。在橫向設置下,每個方擁有所有特征和標簽信息,但僅限部分人口。 此外, NVIDIA FLARE 是一款與領域無關、開源且可擴展的聯邦學習 SDK,通過引入處理通信挑戰的功能來增強現實世界的聯邦學習體驗。其中包括多項并發訓練作業,以及可能因網絡條件而中斷的作業。 目前,

Source

]]>
12489
人人超碰97caoporen国产