• <xmp id="om0om">
    •
    • <table id="om0om"><noscript id="om0om"></noscript></table>
  • Related Resources
    對話式人工智能

    使用分布式數據集上的聯合學習使 LLM 適應下游任務

    2023年 7月 10日
    By , and
    0
    ?

    大型語言模型（ LLM ），如 GPT，由于其理解和生成類人文本的能力，已成為自然語言處理（ NLP ）中的革命性工具。這些模型基于大量不同的數據進行訓練，使其能夠學習模式、語言結構和上下文關系。它們是基礎模型，可以針對廣泛的下游任務進行定制，具有高度的通用性。

    諸如分類之類的下游任務可以包括基于預定義標準對文本進行分析和分類，這有助于諸如情緒分析或垃圾郵件檢測之類的任務。在封閉式問答（ QA ）中，他們可以根據給定的上下文提供精確的答案。在生成任務中，它們可以生成類似人類的文本，例如故事寫作或詩歌創作。即使是頭腦風暴， LLM 也可以利用其龐大的知識庫產生創造性和連貫性的想法。

    LLM 的適應性和多功能性使其成為廣泛應用的寶貴工具，使企業、研究人員和個人能夠以顯著的效率和準確性完成各種任務。

    這篇文章向您展示了 LLM 如何使用分布式數據集和聯合學習來適應下游任務，以保護隱私并提高模型性能。

    LLM 適應下游任務

    參數高效的 LLM 微調已經成為使用特定于任務的模塊的一種重要方法，其中保持預訓練的 LLM 層固定，同時使較小的附加參數集適應手頭的特定任務。為了促進這一過程，已經開發了各種技術，包括prompt tuning，p-tuning，adapters，LoRA等。

    例如， p 調整包括凍結 LLM 并學習預測與原始輸入文本組合的虛擬令牌嵌入，如圖 1 所示.任務特定的虛擬令牌嵌入由提示編碼器網絡預測，該網絡與輸入單詞嵌入一起被饋送到 LLM 中，以在推理時增強下游任務的性能。它是參數有效的，因為只有提示編碼器參數必須在輸入文本和標簽上進行訓練，而基本 LLM 參數可以保持固定。

    Diagram of p-tuning for adaptation of LLMs to downstream tasks. The prompt encoder learns to predict virtual tokens that are added to the input word embeddings conditioning the LLM to solve the downstream tasks.
    圖 1 。大型語言模型參數有效微調的 P- 調諧

    聯合學習

    由于監管限制和復雜的官僚程序，使用私人數據訓練人工智能模型帶來了重大挑戰。隱私法規和數據保護法通常禁止共享敏感信息，限制了傳統數據共享方法的可行性。此外，數據注釋是模型訓練的一個關鍵方面，它會產生巨大的成本，并需要大量的時間和精力。

    認識到數據是一種寶貴的資產，聯合學習（FL）已經成為一種解決這些問題的技術。FL 通過共享模型而不是原始數據來繞過傳統的模型訓練過程。參與的客戶端使用它們各自的私有數據集在本地訓練模型，并聚合更新的模型參數，從而保護底層數據的隱私，同時共同受益于培訓過程中獲得的知識。

    不需要直接的數據交換，這降低了與數據隱私法規相關的合規風險，并在聯盟中的合作者之間分配了繁重的數據注釋成本。

    圖 2 顯示了具有全局模型和三個客戶端的聯合 p 調諧。 LLM 參數保持固定，同時在本地數據上訓練提示編碼器參數。在本地訓練之后，新參數在服務器上聚合，以更新全局模型，用于下一輪聯合學習。

    Diagram of federated p-tuning with global model and three clients. For each client, Prompt Encoder appears on the left and NeMo in the middle; NVFlare Server appears connected to all clients on the right.
    圖 2 :具有全局模型和三個客戶端的聯合 p 調諧

    將 LLM 的適應性與下游任務聯合起來

    FL 通過利用去中心化的數據源使 LLM 能夠適應下游任務。通過在不共享原始數據的情況下跨多個參與者協作訓練 LLM ，可以通過利用集體知識和將模型暴露于更廣泛的語言模式來增強 LLM 的準確性、穩健性和可推廣性（圖 2 ）。此外， FL 還提供了各種模型自適應和推理選項，包括基于聚合數據訓練的全局模型和為個人客戶量身定制的個性化模型。

    情緒分析的聯合 p 調諧

    本節提供了 LLM 的聯合自適應示例，使用 NVIDIA NeMo 框架 對具有下游任務的 NVIDIA Flare 進行 p 調諧。NeMo 和 NVIDIA Flare 都是由 NVIDIA 開發的開源工具包。此微調過程非常有效，因為只需要交換幾十萬個參數，大大減少了通信負擔。

    在這個情緒分析任務中，可以使用 p 調諧有效地微調 NeMo Megatron-GPT 模型，它具有 200 億個參數。它使用 Financial PhraseBank dataset，其中包含了從散戶投資者的角度對財經新聞標題的看法。更多詳細信息，請參閱 Good Debt or Bad Debt: Detecting Semantic Orientations in Economic Texts。

    示例輸入和模型預測如圖 3 所示。該數據總共包含 1800 對標題和相應的情緒標簽。在 p 調諧中，僅更新可訓練提示編碼器網絡的 5000 萬個參數（整個 20B 參數的 0 . 25% ）。對于 FL 實驗，數據被分為三組，對應于每個網站的 600 個標題和情感對。客戶端使用相同的驗證集來啟用直接比較。

    Input headline and LLM model sentiment predictions.
    圖 3 。來自金融短語銀行數據集的示例輸入標題以及來自經過訓練的全局提示編碼器和 LLM 的情緒預測

    圖 4a 比較了以集中方式訓練模型與聯合模型 50 個時期（或 FL 輪）的情況。在這兩種設置中，自適應模型在下游任務上的表現相當，在驗證集上實現了類似的低損失。圖 4b 將每個客戶端僅在其本地數據集上進行的訓練與使用 FL 進行 p 調諧的模型進行了比較。通過有效地利用協作中可用的較大訓練集，并實現比僅在其數據上進行訓練更低的損失，可以看出使用聯合 p 調諧的全局模型的明顯優勢。

    Two graphs showing the federated p-tuning experiment. On the left, the global FL model is shown in comparison to centralized training, which assumes all data are in the same place. Here, the global model performs similarly to the centrally trained model. On the right, the global FL is compared to models only trained on each client’s local data, showing that the global model can achieve a lower loss by collaboratively learning from all available data across clients.
    圖 4 。全局和中心模型的驗證損失（左）以及全局和局部訓練模型的驗證損耗（右）

    結論

    總的來說，這篇文章強調了聯邦 p 調整在使 LLM 適應下游任務方面的潛力，強調了 FL 在實現協作學習以保護隱私和提高模型性能方面的好處。一些關鍵要點是：

    1. GPT 等大型語言模型徹底改變了 NLP ，為分類、問答、生成和頭腦風暴等各種下游任務提供了多功能性。
    2. 聯合學習通過共享模型參數而不是原始數據來解決與私人數據相關的挑戰，確保隱私并降低合規風險。
    3. 使用特定任務模塊（如即時調整或 p 調整）對 LLM 進行微調，可以有效地適應特定任務。
    4. FL 促進了協作訓練和推理，從而提高了模型性能。

    有關詳細信息，請參閱NVIDIA Flare documentation和NVIDIA NeMo framework page。要復制此處解釋的實驗和其他 LLM 任務，請探索Examples of NeMo-NVFlare Integration這里提出的聯合 p 調諧方法可以進一步與附加的privacy-preservingNVIDIA Flare 提供的解決方案，例如homomorphic encryption和differential privacy。要了解更多信息，請參閱NVIDIA FLARE: Federated Learning from Simulation to Real-World.

    ?

    相關資源

    0

    標簽

    對話式人工智能 | 生成式人工智能/大語言模型 | Deep dive | Intermediate Technical | NeMo 框架 | NVIDIA Flare | 會話 AI / NLP | 大型語言模型（ LLMs ） | 特色 | 生成型人工智能 | 電信 | 聯盟學習 | 自然語言處理

    關于作者

    Holger Roth 是 NVIDIA 的高級應用研究科學家，專注于醫學成像的深度學習。在過去幾年中，他一直與臨床醫生和學者密切合作，為放射應用開發基于深度學習的醫學圖像計算和計算機輔助檢測模型。他擁有博士學位。來自英國倫敦大學學院。
    Ziyue Xu 是 NVIDIA 的資深科學家。他的研究興趣是圖像分析和計算機視覺領域，在生物醫學和臨床成像中的應用。自 2007 年以來，他一直與其他研究人員和臨床醫生一起致力于醫學人工智能。子躍于 2006 年獲得清華大學學士學位， 2009 / 2012 年獲得愛荷華大學碩士/博士學位。他是 IEEE 高級成員，也是《 IEEE 醫學成像匯刊》（ TMI ）、《生物醫學與健康信息學雜志》（ JBHI ）、《計算機醫學成像與圖形學》（ C MIG ）和《生物與醫學計算機》（ CBM ）等期刊的副主編。
    Adi Renduchintala 是 NVIDIA NeMo 團隊的高級應用研究員。目前， Adi 正在研究用于定制 LLM 的參數高效方法。他對 NLP 、多語言建模和 LLM 有著廣泛的興趣。在加入 NVIDIA 之前，他是 FAIR 的研究科學家，致力于對話式人工智能，能夠在外交等復雜的開放式游戲中與人類互動和談判。他擁有約翰霍普金斯大學的博士學位和科羅拉多大學博爾德分校的碩士學位。
    人人超碰97caoporen国产