在全球范圍內，企業正在意識到 生成式 AI 模型。他們競相在聊天機器人、虛擬助理、編碼副駕駛等各種應用中采用這些模型。
雖然通用模型適用于簡單任務，但在滿足各行各業的獨特需求方面表現不佳。自定義生成式 AI 模型通過整合特定領域的知識、了解當地文化的細微差別以及與品牌聲音和價值觀保持一致，優于普通模型并滿足企業需求。
NVIDIA NeMo 團隊宣布推出 搶先體驗計劃，該計劃適用于 NVIDIA NeMo Curator、NVIDIA NeMo Customizer 和 NVIDIA NeMo Evaluator 微服務。這些微服務涵蓋了從數據管理與定制到評估的整個開發階段，能夠簡化用戶構建自定義生成式 AI 模型的流程。
NVIDIA NeMo 是一個端到端平臺，用于在任何地方開發自定義生成式 AI。它包括用于 訓練、微調、檢索增強生成、護欄設置、數據管護 和預訓練模型的工具。NeMo 在整個技術堆棧中提供了從框架到高級 API 端點的產品（見圖 1）。
NVIDIA CUDA-X 的一部分微服務以及 NeMo API 端點是基于 NVIDIA 庫構建的，這為企業提供了開始構建自定義生成式 AI 的簡單路徑。
適用于自定義生成式 AI 的開發微服務
在 搶先體驗計劃 中，開發者可以申請訪問 NeMo Curator、NeMo Customizer 和 NeMo Evaluator 微服務。這些微服務協同工作，幫助企業構建企業級自定義生成式 AI，并加速解決方案的上市時間。
NeMo Curator 微服務幫助開發者整理數據以進行預訓練和微調 LLM，而 NeMo Customizer 支持微調和對齊。最后，借助 NeMo Evaluator，開發者可以根據學術或自定義基準評估這些模型，并確定需要改進的領域。
以下內容詳細介紹了這些微服務。
NeMo Curator
NeMo Curator 是一種可擴展的 GPU 加速數據整理微服務，可為生成式 AI 模型的預訓練和自定義準備高質量的數據集。Curator 簡化了數據整理任務，例如數據下載、文本提取、清理、質量過濾、精確/模糊重復數據消除和多語種下游任務消除。
Curator 支持以下內容：
- 微調技術，例如監督式微調 (SFT)、P-tuning 和低階自適應 (LoRA)。
- 更快的數據標注流程，支持不同類型的元數據分類器，包括：
- 適用于醫療健康、法律等各個領域的領域分類器。開發者可以使用最相關的數據進行特定領域的自定義，以進行模型開發、數據混合和豐富原始數據
- 個人識別信息 (PII) 檢測，用于從訓練數據中大規模編輯或刪除 PII 信息，并遵守數據隱私。
- Toxicity Filter，用于使用定義的自定義過濾器和類別識別和刪除無關的和有毒的數據
NeMo Customizer
NeMo Customizer 是一個高性能、可擴展的微服務，它簡化了針對特定領域用例的 LLM 微調和對齊。該微服務最初支持兩種流行的參數高效微調 (PEFT) 技術：LoRA 和 p-tuning.
此外，NeMo Customizer 微服務將在未來添加對完全對齊技術的支持。
- Supervised Fine-Tuning (SFT)
- 基于人類反饋的強化學習(RLHF)
- 直接偏好優化 (DPO)
- NVIDIA NeMo SteerLM
NeMo Customizer 微服務支持 Kubernetes 訪問類似 NFS 的文件系統和火山調度程序以進行部署。這可實現批量調度功能，而這通常是高性能多節點微調 LLM 所必需的。
NeMo Evaluator
針對特定任務定制 LLM 可能會導致災難性的遺忘，即模型忘記先前學習的任務。使用 LLM 的企業必須評估原始任務和新任務的性能，不斷優化模型以改善體驗。NeMo Evaluator 可在任何云或數據中心的不同學術和自定義基準測試中自動評估自定義生成式 AI 模型。
它通過精選的學術基準集合支持自動評估，包括超越模擬游戲基準 (BIG-Bench)、多語種 BigCode 評估線束和 Toxicity。
NeMo Evaluator 支持對自定義數據集進行評估，可提供準確度、面向召回的 gisting 評估不足 (ROUGE)、F1 和精確匹配等指標。
它還支持使用 LLM 作為判斷來全面評估模型響應。它可以利用 NVIDIA NIM 支持的 LLM，以及 NVIDIA API 目錄 來評估 MT-Bench 數據集上的模型響應。
輕松構建自定義生成式 AI
NeMo 微服務可提供 NeMo 平臺的全部優勢，例如加速性能和可擴展性。開發者可以利用并行技術并在需要時擴展到多 GPU 和多節點，從而獲得更快的訓練性能。
微服務還為企業帶來諸多好處，例如能夠在其首選基礎架構 (從本地到云端) 上運行，從而控制數據安全性、避免供應商鎖定并降低成本。
無論開發堆棧中的特定選項如何，微服務都能提供適應性和兼容性。它們可以輕松地作為 API 納入當前的工作流程，而無需擔心所使用的特定技術。
注冊以搶先體驗
注冊 NeMo 微服務搶先體驗。申請將逐案審查，并提供給已批準參與者訪問微服務容器的鏈接。
?
