Chris Alexiuk – NVIDIA 技術博客

NVIDIA Llama Nemotron 超開放模型實現突破性的推理準確性

Tue, 15 Apr 2025 05:31:17 +0000

AI 不再只是生成文本或圖像，而是要針對商業、金融、客戶和醫療健康服務中的現實應用進行深度推理、詳細解決問題并實現強大的適應性。 NVIDIA 最新推出的 Llama Nemotron Ultra 推理模型在智能和編碼基準測試中提供了領先的開源模型準確性，同時提高了計算效率。您可以在 Hugging Face 上找到模型、權重和訓練數據，以便將 AI 應用于從研究助理、編碼助手到自動化工作流的各種工作中。 Llama Nemotron Ultra 正在重新定義 AI 在科學推理、編碼和數學基準測試中可以實現的目標。該模型針對復雜推理、人類匹配聊天、檢索增強生成 (RAG) 和工具使用進行了后訓練，專為滿足現實世界企業的需求 (從 copilot 和知識助手到自動化工作流程) 而構建，具有高影響力 AI 所需的深度和靈活性。 Llama Nemotron Ultra 基于…

Source

]]>

使用先進的開放式 NVIDIA Llama Nemotron 推理模型構建企業 AI 智能體

Tue, 08 Apr 2025 06:21:51 +0000

此更新文章最初發布于 2025 年 3 月 18 日。企業組織正在采用 AI 智能體來提高生產力并簡化運營。為了更大限度地發揮影響，這些智能體需要強大的推理能力來解決復雜問題、發現隱藏的聯系，并在動態環境中自主做出邏輯決策。推理模型能夠解決復雜問題，因此已成為代理式 AI 生態系統的關鍵組成部分。通過使用長思考、Best-of-N 或自我驗證等技術，這些模型能夠更好地處理代理式流程不可或缺的推理密集型任務。從自動化客戶支持到優化供應鏈和執行財務戰略，推理模型正在為各種應用提供支持。在物流領域，它們通過模擬假設場景 (例如在貨物中斷期間改變路線) 來提高效率。在科學研究中，它們有助于假設生成和多步驟解決問題。在醫療保健領域，它們可增強診斷和治療規劃。通過實現精確的邏輯推理，這些模型正在推動各行各業提供更可靠、更可擴展的 AI 解決方案。

Source

]]>

使用先進的開放式 NVIDIA Llama Nemotron 推理模型構建企業級 AI 智能體

Tue, 18 Mar 2025 05:22:03 +0000

企業組織正在采用 AI 智能體來提高生產力并簡化運營。為了更大限度地發揮影響，這些智能體需要強大的推理能力來解決復雜的問題，發現隱藏的聯系，并在動態環境中自主做出邏輯決策。由于推理模型能夠解決復雜問題，因此已成為代理式 AI 生態系統的關鍵部分。通過使用長思考、Best-of-N 或自我驗證等技術，這些模型可以更好地處理代理式流程不可或缺的推理密集型任務。從自動化客戶支持到優化供應鏈和執行財務策略，推理模型正在為各種應用提供支持。在物流領域，它們通過模擬假設場景 (例如在中斷運輸期間改變貨運路線) 來提高效率。在科學研究中，它們有助于生成假設和多步驟解決問題。在醫療健康領域，它們增強了診斷和治療規劃。通過實現精確的邏輯推理，這些模型正在推動各行各業實現更可靠、更可擴展的 AI 解決方案。本文將介紹 NVIDIA Llama Nemotron 推理模型系列。

Source

]]>

使用 DeepSeek-R1 NIM 構建具有專家推理功能的 AI 智能體

Fri, 28 Feb 2025 06:27:48 +0000

AI 智能體正在通過實現流程自動化、優化決策制定和簡化操作來改變業務運營。其有效性取決于專家推理，從而實現更明智的規劃和高效執行。代理式 AI 應用可以從 DeepSeek-R1 等模型的功能中受益。DeepSeek-R1 專為解決需要高級 AI 推理的問題而構建，是一個包含 671 億個參數的開放式專家混合模型 (MoE)。經過強化學習 (RL) 技術的訓練，該模型能夠激勵準確、結構化的推理鏈，在邏輯推理、多步驟問題解決和結構化分析方面表現出色。 DeepSeek-R1 通過 chain-of-thought (CoT) 推理將復雜問題分解為多個步驟，使其能夠更準確、更深入地處理復雜問題。為此，DeepSeek-R1 使用 test-time scaling，這是一種新的 scaling law，通過在推理過程中分配額外的計算資源來增強模型的功能和演能力。但是，

Source

]]>

掌握 LLM 技術：評估

Wed, 29 Jan 2025 05:34:32 +0000

評估大語言模型（LLMs）和檢索增強生成（RAG）系統是一個復雜而微妙的過程，反映了這些系統的復雜性和多面性。與傳統機器學習（ML）模型不同，LLMs 會生成各種不同且往往不可預測的輸出，因此無法滿足標準評估指標的需求。主要挑戰包括許多任務缺乏確定的真值、數據污染的風險，以及模型對提示變化和解碼策略的敏感度。此外，LLMs 通常會生成高質量的輸出，甚至可以超越低質量的人類引用，從而無法滿足基于引用的傳統指標的需求。在本文中，我們將探討用于評估 LLMs 和 RAG 系統準確性和可靠性的可靠評估技術和最佳實踐。在生成式 AI 應用的開發過程中，嚴格的評估對于確保系統有效性和可靠性至關重要。此過程具有多個關鍵功能，包括通過確認 AI 符合預期并提供有意義的交互來驗證用戶滿意度。評估還可確保輸出一致性，驗證生成的內容在邏輯上是否一致且符合上下文。

Source

]]>

通過 NVIDIA NeMo 框架的最新功能全鏈路加速視頻基礎模型的訓練和微調

Tue, 07 Jan 2025 06:10:49 +0000

生成式 AI 已經從基于文本的模型發展到多模態模型，最近還擴展到了視頻領域，為各行各業開辟了新的潛在用途。視頻模型可以為用戶創造新的體驗，以及大規模模擬場景來訓練自主代理。它們正在幫助包括機器人技術、自動駕駛汽車和娛樂業在內的多個行業實現變革。由于視頻數據的龐大和多樣性，視頻基礎模型的開發面臨著獨特的挑戰。這也凸顯了可擴展的數據管理流程和訓練框架的必要性，以此來理解時間和空間動態的模型。我們發布了 NVIDIA NeMo 框架中全新的視頻基礎模型功能，這是一個端到端的訓練框架，用于預訓練和微調您的專屬視頻基礎模型。該框架包括高吞吐量的數據管理、高效的多模態數據加載功能、可擴展的模型訓練，以及并行化的框架內推理。高吞吐量視頻數據處理鏈路 NVIDIA NeMo Curator 通過高效處理和準備高質量的數據（包括大型視頻數據集），

Source

]]>

利用 NVIDIA NIM 實現 AI 模型微調部署

Thu, 21 Nov 2024 06:46:49 +0000

對于使用特定領域數據調整 AI 基礎模型的組織而言，快速創建和部署微調模型的能力是高效地通過企業生成式 AI 應用提供價值的關鍵。 NVIDIA NIM 為最新的 AI 基礎模型提供預構建、性能優化的推理微服務，包括使用參數高效微調 (PEFT) 自定義的模型的無縫部署。在某些情況下，理想的做法是使用持續預訓練、DPO、監督微調（SFT）或模型合并等方法，這些方法直接在訓練或自定義過程中調整基礎模型權重，這與使用低階適應（LoRA）的 PEFT 不同。在這些情況下，必須更新模型的推理軟件配置，以便在給定新權重時獲得最佳性能。 NIM 可以自動構建針對本地環境中調整后的模型和 GPU 優化的 TensorRT-LLM 推理引擎性能，然后加載該引擎，以便在單步模型部署流程中運行推理，而無需承擔這一通常漫長的過程。在本文中，

Source

]]>

LLM 模型合并入門指南

Mon, 28 Oct 2024 05:30:46 +0000

自定義大語言模型（LLM）時，組織面臨的一個挑戰是需要運行多個實驗，而這些實驗只能產生一個有用的模型。雖然實驗成本通常較低，并且結果非常值得付出努力，但這個實驗過程確實涉及“浪費”資源，例如在未使用其產品的情況下花費的計算資產、專用的開發者時間等。模型合并結合了多個自定義語言模型（LLM）的權重，提高了資源利用率，并為成功的模型增加了價值。這種方法提供了兩種關鍵解決方案。本文將探討如何自定義模型、模型合并的工作原理、不同類型的模型合并，以及模型合并的迭代和發展方式。本節簡要概述了模型如何進行自定義，以及如何利用此過程幫助直觀地了解模型合并。請注意，為了直觀地理解模型合并，我們過度簡化了所討論的一些概念。建議您先熟悉自定義技術、Transformer 架構和單獨訓練，然后再深入了解模型合并。例如，請參閱 Mastering LLM Techniques：

Source

]]>

使用 NVIDIA Nemotron-4 340B，利用我們最新的開放式模型生成合成數據

Tue, 18 Jun 2024 08:26:53 +0000

自從引入并隨后廣泛采用大型語言模型（LLM）以來，數據一直是企業構建準確安全的人工智能系統的生命線。一家公司的數據代表了其累積的知識，可以通過各種方式加以利用，從定制（監督微調、參數高效微調、持續預訓練等）到訓練全新的特定領域小型語言模型（SLM）。數據雖然是現代人工智能管道中最關鍵的部分之一，但在創新 LLM 和 SLM 的開發過程中，傳統上成本高昂且受到限制的是從付費人工注釋到導航大量特定領域數據的來源，當前生成高質量數據的過程是一項艱巨的任務。通過一個稱為合成數據生成（SDG）的過程，該過程將在博客的其余部分中更仔細地定義，企業可以通過利用 LLM 創建大量定制的高質量數據來增強現有的數據存儲。 NVIDIA 宣布了一套專門為 SDG 構建的新模型系列——Nemotron-4 340B family，包括最先進的 Reward Model 和一款 Instruct 模型，

Source

]]>

用于 SQL 和代碼生成的新 LLM:Snowflake Arctic 模型

Fri, 26 Apr 2024 09:06:33 +0000

近年來，大型語言模型（LLM）徹底改變了自然語言處理（NLP），實現了文本摘要、問答和自然語言生成等廣泛的應用。由 Snowflake 開發的 Arctic 是一種新的開放 LLM，旨在實現高推理性能，同時在各種 NLP 任務上保持低成本。 Arctic Arctic 基于一種新的密集 MoE（專家混合物）混合變壓器架構，該架構將 10B 參數密集變壓器模型與殘差 128×3.66B MoE 多層感知器（MLP）相結合，從而有效地隱藏普通 MoE 模型在計算過程中施加的額外全對全通信開銷。這樣，該體系結構能夠在訓練和推理過程中更有效地使用資源。由此產生的網絡具有 480B 的總參數，并使用前 2 個門控讓專家選擇 17B 的活動參數。通過利用大量專家和總參數，該體系結構允許頂級智能，同時從許多但精簡的專家中進行選擇，僅使用適量的活動參數進行訓練和具有成本效益的推理。

Source

]]>