NeMo Customizer – NVIDIA 技術博客

微調 LLMOps 以實現快速模型評估和持續優化

Tue, 17 Jun 2025 04:52:16 +0000

大語言模型 (LLM) 為各行各業帶來了前所未有的機遇。然而，將 LLM 從研發轉向可靠、可擴展和可維護的生產系統會帶來獨特的運營挑戰。 LLMOps（大語言模型操作）旨在應對這些挑戰。它基于傳統機器學習操作（MLOps）的原則而構建，為管理從數據準備和模型微調到部署、監控和持續改進的整個LLM生命周期提供了框架。實施LLM會在整個制作流程和部署階段帶來一些重大挑戰，包括： Amdocs 是一家專門從事電信解決方案的公司，他們正在應對這些挑戰，以克服實施自定義 LLM 的復雜性，并加速其 AI 計劃。Amdocs 基于 NVIDIA AI Blueprint 構建了強大的 LLMOps 流程，用于構建數據飛輪，該流程使用 NVIDIA NeMo 微服務進行簡化的微調、評估、guardrailing 和 serving，并將其作為 NVIDIA NIM 提供，以實現高效、

Source

]]>

使用先進的開放式后訓練數據集構建自定義推理模型

Wed, 14 May 2025 07:35:47 +0000

合成數據已成為大語言模型 (LLM) 后訓練程序的標準組成部分。使用從單個或一組經商業許可的開源 LLM 中合成生成的大量示例，通過監督微調或 RLHF 對基礎 LLM 進行微調，以獲得指導遵循和推理技能。這個過程可以被視為一個知識蒸餾過程，從一組 LLM 教師到目標 LLM 學生。 NVIDIA 最近開源了 Llama-Nemotron 后訓練數據集，該數據集包含 3000 萬個合成訓練示例，支持改進數學、代碼、一般推理、函數調用和指令遵循功能。作為證據，NVIDIA 使用此數據集訓練并發布了三個模型：每個模型在其各自權重類別內的推理和代理式任務中都具有領先的準確性。此數據集版本代表著模型開發和改進在開放性和透明度方面的重大進步。除了訓練方法、工具和最終模型權重之外，NVIDIA 還發布了完整的訓練集，為這種方法的重建和改進提供支持。

Source

]]>

使用 NVIDIA NeMo 微服務，通過數據飛輪增強 AI 智能體

Wed, 23 Apr 2025 05:54:07 +0000

企業數據不斷變化。隨著時間的推移，這給保持 AI 系統的準確性帶來了重大挑戰。隨著企業組織越來越依賴代理式 AI 系統來優化業務流程，保持這些系統與不斷變化的業務需求和新數據保持一致變得至關重要。本文將深入探討如何使用 NVIDIA NeMo 微服務構建數據飛輪迭代，并簡要概述構建端到端流程的步驟。如需了解如何使用 NeMo 微服務解決構建數據飛輪時面臨的各種挑戰，請參閱使用 NVIDIA NeMo 微服務更大限度地提高 AI Agent 性能。數據飛輪是一種自我增強的循環。從用戶交互中收集的數據可改進 AI 模型，從而提供更好的結果，吸引更多用戶生成更多數據，從而在持續改進循環中進一步增強系統。這類似于獲取經驗和收集反饋以學習和改進工作的過程。因此，需要部署的應用持續適應并保持高效是將數據 flywheel 整合到代理式系統中的主要動機。

Source

]]>