Ziyue Xu – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 17 Apr 2025 05:49:19 +0000
zh-CN
hourly
1
196178272 -
在大型語言模型時代，通過消息量化和流式傳輸實現高效的聯邦學習
http://www.open-lab.net/zh-cn/blog/efficient-federated-learning-in-the-era-of-llms-with-message-quantization-and-streaming/
Wed, 16 Apr 2025 05:23:34 +0000
http://www.open-lab.net/zh-cn/blog/?p=13572
Continued]]>
聯邦學習 (Federated Learning, FL) 已成為一種在分布式數據源中訓練機器學習模型的有前景的方法，同時還能保護數據隱私。但是，在平衡模型要求和通信能力時，FL 面臨著與通信開銷和本地資源限制相關的重大挑戰。 特別是在當前的大語言模型 (LLMs) 時代，FL 在部署具有數十億參數的 LLMs 時面臨著計算挑戰。這些模型的龐大規模加劇了通信和內存限制。由于帶寬限制，一次性傳輸完整的模型更新可能不可行，并且本地內存限制可能會使處理大型模型進行通信具有挑戰性。解決這些問題需要創新策略。 NVIDIA FLARE 是一款與領域無關、開源且可擴展的聯邦學習 SDK，通過引入可靠的通信功能、對多個并發訓練作業的支持以及針對可能因網絡條件而中斷的作業的魯棒性，增強了現實世界的聯邦學習體驗。 NVFlare 2.4.0 版本引入了流式傳輸 API，
Source
]]>
13572
-
借助 NVIDIA FLARE 和 Meta ExecuTorch，在移動設備上輕松進行聯邦學習
http://www.open-lab.net/zh-cn/blog/effortless-federated-learning-on-mobile-with-nvidia-flare-and-meta-executorch/
Fri, 11 Apr 2025 05:41:04 +0000
http://www.open-lab.net/zh-cn/blog/?p=13578
Continued]]>
NVIDIA 和 Meta 的 PyTorch 團隊宣布開展突破性合作，通過集成 NVIDIA FLARE 和 ExecuTorch ，將聯邦學習 (FL) 功能引入移動設備。 NVIDIA FLARE 是一款與領域無關、開源、可擴展的 SDK，使研究人員和數據科學家能夠根據聯合范式調整現有的機器學習或深度學習工作流程。它還使平臺開發者能夠為分布式多方協作構建安全、隱私保護的產品。 ExecuTorch 是一種端到端解決方案，可跨移動和邊緣設備實現設備端推理和訓練功能。它是 PyTorch Edge 生態系統的一部分，支持將各種 PyTorch 模型高效部署到邊緣設備。 通過集成這兩者，我們為您提供了一個解決方案，讓您在移動設備上利用 FL 的強大功能，同時保護用戶隱私和數據安全。要啟用跨設備 FL，有兩個關鍵組件： 借助 NVIDIA FLARE 和…
Source
]]>
13578
-
利用 XGBoost 中的 CUDA 加速同態加密實現聯邦學習數據隱私安全性
http://www.open-lab.net/zh-cn/blog/security-for-data-privacy-in-federated-learning-with-cuda-accelerated-homomorphic-encryption-in-xgboost/
Wed, 18 Dec 2024 09:22:20 +0000
http://www.open-lab.net/zh-cn/blog/?p=12489
Continued]]>
XGBoost 是一種廣泛用于表格數據建模的機器學習算法。為了將 XGBoost 模型從單站點學習擴展到多站點協作訓練，NVIDIA 開發了 Federated XGBoost ，這是一種用于聯邦學習的 XGBoost 插件。它包括用于跨去中心化數據源聯合訓練 XGBoost 模型的垂直協作設置，以及 水平直方圖和樹的聯合學習 。 在垂直環境下，每個方擁有面向全體人口的部分特征，并且只有一個方持有該標簽。標簽所有者被稱為主動方，而所有其他方都是被動方。在橫向設置下，每個方擁有所有特征和標簽信息，但僅限部分人口。 此外， NVIDIA FLARE 是一款與領域無關、開源且可擴展的聯邦學習 SDK，通過引入處理通信挑戰的功能來增強現實世界的聯邦學習體驗。其中包括多項并發訓練作業，以及可能因網絡條件而中斷的作業。 目前，
Source
]]>
12489
-
借助 NVIDIA FLARE 2.4，在幾分鐘內將機器學習轉變為聯邦學習
http://www.open-lab.net/zh-cn/blog/turning-machine-learning-to-federated-learning-in-minutes-with-nvidia-flare-2-4/
Wed, 06 Mar 2024 06:12:36 +0000
http://www.open-lab.net/zh-cn/blog/?p=9115
Continued]]>
協同學習 (FL) 受到加速采用的原因在于其分布式、保護隱私的特性。在醫療健康和金融服務等領域，協同學習 (FL) 作為一種隱私增強技術，已成為技術堆棧的關鍵組成部分。 在本文中，我們討論了 FL 及其優勢，深入探討了聯邦學習為何如此受歡迎。此外，我們還介紹了 NVIDIA FLARE 2.4.0 版本中引入的三個關鍵特征，這些特征有助于從集中式機器學習過渡到聯邦學習，并通過流式傳輸 API 增強大型語言模型 (LLM) 支持。此外，我們還展示了各種參數調整任務。 最新版本的 FLARE 擴展了 FL 工作流模式，為研究人員提供更多工作流程自定義選項。我們分享了醫療健康、銀行、金融服務和保險 (BFSI) 領域的不同用例，以展示 FL 應用程序在生產環境中或通過示例。 FL 是一種機器學習方法，允許在分布式設備上進行模型訓練和數據分析，同時保護本地數據的私密性。
Source
]]>
9115
-
借助 NVIDIA FLARE 實現可擴展聯邦學習，提升 LLM 性能
http://www.open-lab.net/zh-cn/blog/scalable-federated-learning-with-nvidia-flare-for-enhanced-llm-performance/
Thu, 29 Feb 2024 07:02:21 +0000
http://www.open-lab.net/zh-cn/blog/?p=9150
Continued]]>
隨著人工智能技術的不斷發展，大型語言模型(LLM) 的有效數據管理成為一個重要挑戰。數據是模型性能的核心。盡管大多數先進的 機器學習 算法以數據為中心，但由于各種因素（如隱私、監管、地緣政治、版權問題和移動大型數據集所需的巨大努力），并非所有必要數據都可以集中。 本文探討了如何利用聯邦學習(FL)，由NVIDIA FLARE提供支持，以簡單且可擴展的方式應對這些挑戰。這些功能支持監督式微調和參數效率的精細調整，從而增強模型的準確性和穩健性。 在許多 LLM 任務中，需要從多個來源獲取數據是一種常見場景。例如，為醫學研究收集來自不同醫院的報告，或從各種機構收集金融數據進行分析。集中這些數據可能不切實際，也可能受到隱私問題、法規和其他障礙的限制。聯合學習提供了一個精美的解決方案。 FL 已成為解決這些數據挑戰的技術。
Source
]]>
9150
-
使用分布式數據集上的聯合學習使 LLM 適應下游任務
http://www.open-lab.net/zh-cn/blog/adapting-llms-to-downstream-tasks-using-federated-learning-on-distributed-datasets/
Mon, 10 Jul 2023 03:31:27 +0000
http://www.open-lab.net/zh-cn/blog/?p=7364
Continued]]>
大型語言模型（ LLM ），如 GPT，由于其理解和生成類人文本的能力，已成為自然語言處理（ NLP ）中的革命性工具。這些模型基于大量不同的數據進行訓練，使其能夠學習模式、語言結構和上下文關系。它們是基礎模型，可以針對廣泛的下游任務進行定制，具有高度的通用性。 諸如分類之類的下游任務可以包括基于預定義標準對文本進行分析和分類，這有助于諸如情緒分析或垃圾郵件檢測之類的任務。在封閉式問答（ QA ）中，他們可以根據給定的上下文提供精確的答案。在生成任務中，它們可以生成類似人類的文本，例如故事寫作或詩歌創作。即使是頭腦風暴， LLM 也可以利用其龐大的知識庫產生創造性和連貫性的想法。 LLM 的適應性和多功能性使其成為廣泛應用的寶貴工具，使企業、研究人員和個人能夠以顯著的效率和準確性完成各種任務。 這篇文章向您展示了 LLM 如何使用分布式數據集和聯合學習來適應下游任務，
Source
]]>
7364
-
聯合學習在傳統機器學習方法中的應用
http://www.open-lab.net/zh-cn/blog/applying-federated-learning-to-traditional-machine-learning-methods/
Thu, 22 Jun 2023 06:35:14 +0000
http://www.open-lab.net/zh-cn/blog/?p=7283
Continued]]>
在大數據和分布式計算時代，傳統的機器學習方法面臨著一個重大挑戰：當數據分散在多個設備或豎井中時，如何協同訓練模型。這就是聯合學習發揮作用的地方，它提供了一個很有前途的解決方案，將模型訓練與直接訪問原始訓練數據脫鉤。 聯合學習最初旨在實現去中心化數據上的協作深度學習，其關鍵優勢之一是其通信效率。這種相同的范式可以應用于傳統的 ML 方法，如線性回歸、 SVM 、 k-means 聚類，以及基于樹的方法，如隨機森林和 boosting 。 開發傳統 ML 方法的聯合學習變體需要在幾個層面上進行仔細考慮： 值得注意的是聯邦的和分布式的與深度學習相比，傳統方法的機器學習可能不那么獨特。對于某些算法和實現，這些術語可以是等效的。 在圖 1 中，每個客戶端構建一個唯一的增強樹，該樹由服務器聚合為樹的集合，然后重新分發給客戶端進行進一步的訓練。
Source
]]>
7283
-
借助 NVIDIA FLARE 實現的聯合學習，提升您的人工智能工作流程
http://www.open-lab.net/zh-cn/blog/boost-your-ai-workflows-with-federated-learning-enabled-by-nvidia-flare/
Wed, 14 Jun 2023 05:05:37 +0000
http://www.open-lab.net/zh-cn/blog/?p=7209
Continued]]>
在工作流程中利用人工智能的企業面臨的主要挑戰之一是管理支持大規模培訓和部署機器學習（ ML ）模型所需的基礎設施。為此，NVIDIA FLARE平臺提供了一個解決方案：聯合學習，使得跨企業管理復雜的人工智能工作流變得更加容易。 NVIDIA FLARE 2.3.0 是 NVIDIA 聯合學習平臺的最新版本，其中包含了令人興奮的新功能和增強功能，如： 這篇文章詳細介紹了這些功能，并探討了它們如何幫助您的組織提升人工智能工作流程，并通過機器學習獲得更好的結果。 有了這個版本，您現在可以使用 IaC 無縫管理您的多云基礎設施，利用不同云提供商的優勢，并分配您的工作負載以提高效率和可靠性。 IaC 使您能夠自動化基礎設施的管理和部署，從而節省時間并降低人為錯誤的風險。 NVIDIA FLARE 2.3.0 支持在 Microsoft Azure 和 AWS…
Source
]]>
7209
人人超碰97caoporen国产