Mehran Maghoumi – NVIDIA 技術博客

借助統一的 NVIDIA NIM 工作流簡化 LLM 部署和 AI 推理

Wed, 11 Jun 2025 08:41:14 +0000

將大語言模型 (LLM) 集成到真實用戶與之大規模交互的生產環境中，是任何 AI 工作流中最重要的部分。這不僅僅是讓模型運行，而是讓它們變得快速、易于管理和足夠靈活，以支持不同的用例和生產需求。隨著 LLM 數量的不斷增加，每個 LLM 都有自己的架構、量化格式和首選部署框架，管理推理后端很快就變得繁瑣。NVIDIA TensorRT-LLM、vLLM 和 SGLang 等推理后端提供針對特定需求定制的獨特功能，例如提高吞吐量、降低延遲或模型支持。雖然每個推理后端在其域中都表現出色，但決定與模型一起使用哪個后端或在不同的后端之間切換可能既復雜又耗時。 NVIDIA NIM 通過簡化模型加載、后端選擇、服務和優化的復雜性來簡化 LLM 部署，以便您專注于構建。它提供了一種通過單個容器部署各種模型的簡單、統一的方法，只需使用幾個簡單的命令即可將這些模型快速部署到任何地方。

Source

]]>

使用 DeepSeek-R1 NIM 構建具有專家推理功能的 AI 智能體

Fri, 28 Feb 2025 06:27:48 +0000

AI 智能體正在通過實現流程自動化、優化決策制定和簡化操作來改變業務運營。其有效性取決于專家推理，從而實現更明智的規劃和高效執行。代理式 AI 應用可以從 DeepSeek-R1 等模型的功能中受益。DeepSeek-R1 專為解決需要高級 AI 推理的問題而構建，是一個包含 671 億個參數的開放式專家混合模型 (MoE)。經過強化學習 (RL) 技術的訓練，該模型能夠激勵準確、結構化的推理鏈，在邏輯推理、多步驟問題解決和結構化分析方面表現出色。 DeepSeek-R1 通過 chain-of-thought (CoT) 推理將復雜問題分解為多個步驟，使其能夠更準確、更深入地處理復雜問題。為此，DeepSeek-R1 使用 test-time scaling，這是一種新的 scaling law，通過在推理過程中分配額外的計算資源來增強模型的功能和演能力。但是，

Source

]]>

借助 NVIDIA NeMo Curator 簡化域自適應預訓練的數據處理

Tue, 10 Sep 2024 08:23:26 +0000

大語言模型（LLMs）的領域自適應預訓練（DAPT）是構建特定領域模型的重要步驟。與現成的開放或商用模型相比，這些模型在特定領域任務中表現出更出色的功能。最近，NVIDIA 發表了一篇關于 ChipNeMo 的論文，這是一系列面向工業芯片設計應用的基礎模型。ChipNeMo 模型是通過在專有數據和公開可用的特定領域數據的語料庫上對 Llama 2 系列模型進行持續預訓練的結果。本文將以 ChipNeMo 數據集為例，介紹使用 NVIDIA NeMo Curator 從各種公開來源收集訓練數據集的過程。 NeMo Curator 是一個 GPU 加速的數據 curation 庫，通過準備用于預訓練和自定義的大規模、高質量數據集來提高生成式 AI 模型的性能。 NeMo Curator 通過擴展到多節點多 GPU (MNMG) 來縮短數據處理時間，

Source

]]>

利用 NVIDIA NeMo Curator 整理用于 LLM 參數高效微調的自定義數據集

Wed, 31 Jul 2024 06:13:14 +0000

在最近的一篇博文中，我們討論了如何使用 NVIDIA NeMo Curator 整理自定義數據集，用于大型語言模型（LLMs）和小型語言模型（SLMs）的預訓練或連續訓練用例。雖然此類訓練場景是 LLM 開發的重要組成部分，但許多下游應用都涉及在特定領域的數據集上微調現有基礎模型。這可以使用監督式微調 (SFT) 或參數高效微調 (PEFT) 方法 (如 LoRA 和 p-tuning) 來實現。在這些工作流程中，您通常需要快速迭代并嘗試各種想法和超參數設置，以及如何處理訓練數據并將其公開給模型。您必須處理和整理數據集的多個變體，以確保對特定領域數據的細微差別進行有效學習。由于在這種工作流程中可用的數據量有限，因此使用靈活的處理流程對高質量數據進行細化至關重要。本文將指導您使用 NeMo Curator 創建自定義數據管護工作流，并著重介紹 SFT 和 PEFT…

Source

]]>

利用 NVIDIA NeMo Curator 為 LLM 訓練整理自定義數據集

Tue, 21 May 2024 04:57:05 +0000

數據管護是預訓練和持續訓練模型的第一步，也可以說是最重要的一步，對于大型語言模型 (LLM) 和小型語言模型 (SLM) 都至關重要。NVIDIA 最近宣布了 NVIDIA NeMo Curator，這是一個數據管護框架，旨在準備大規模、高質量的數據集，以用于預訓練生成式 AI 模型。 NeMo Curator 是 NVIDIA NeMo 的一部分，提供了從 Common Crawl、Wikipedia 和 arXiv 等多種公共來源下載和整理數據的開箱即用工作流。此外，它還為開發者提供了自定義數據整理流程的靈活性，以滿足其獨特需求并創建自定義數據集。本文將介紹如何使用 NeMo Curator 創建自定義數據管護工作流。這樣一來，您可以：本教程的重點是介紹如何創建一個簡單的數據管護流程，用于下載、處理和篩選 TinyStories 數據集。

Source

]]>

借助 NVIDIA NeMo Curator 擴展和整理用于 LLM 訓練的高質量數據集

Wed, 27 Mar 2024 08:20:38 +0000

大型語言模型 (LLM) 是提高運營效率和推動創新的強大工具。NVIDIA NeMo 微服務旨在簡化構建和部署模型的流程。構建任何 LLM 系統的關鍵步驟是整理用于訓練或自定義模型的令牌數據集。但是，整理合適的數據集是一項具有挑戰性的任務。數據的多樣性、相關性和質量都是影響模型良好運行能力的因素。數據還應該遵守數據保護法規，并尊重個人的隱私。本文將探討 NVIDIA NeMo Curator 框架的最新更新。該框架最近推出，旨在簡化數據管護流程，為企業級采用生成式 AI 提供基礎。 NeMo Curator 支持模型預訓練的數據管護，并基于以下關鍵支柱進行設計：性能、可擴展性和可定制性。它可以跨數千個計算核心無縫擴展，并使用高度優化的 CUDA 內核輕松執行各種數據采集、預處理和清理任務，使企業開發者能夠專注于解決問題。

Source

]]>