Gao Wenwen – NVIDIA 技術博客

借助 NVIDIA Nemo 框架，在遠程數據中心網絡中加速 LLM 訓練

Wed, 14 May 2025 06:09:28 +0000

多數據中心訓練對 AI 工廠至關重要，因為預訓練擴展會推動更大模型的創建，導致對計算性能的需求超過單個設施的能力。通過將工作負載分配到多個數據中心，組織可以克服功耗、散熱和空間方面的限制，以更高的效率訓練更大、更準確的模型。最新版本的 NVIDIA NeMo Framework 25.02 和 NVIDIA Megatron-Core 0.11.0 為多數據中心大語言模型 (LLM) 訓練帶來了新功能。此次更新使用戶能夠將訓練擴展到單個數據中心的物理和操作限制之外，通過利用多個站點的組合功能，實現前所未有的效率和性能。在本文中，我們將介紹 NeMo Framework 和 Megatron-Core 如何通過以下關鍵進展徹底改變多數據中心訓練：訓練萬億參數模型不僅需要增加更多 GPU，還需要克服影響成本和性能的關鍵基礎設施挑戰。

Source

]]>

在 NVIDIA NeMo 框架的首發日支持下即時運行 Hugging Face 模型

Mon, 12 May 2025 05:31:06 +0000

在企業組織努力更大限度地提高其生成式 AI 投資的價值時，獲取最新的模型開發成果對于持續取得成功至關重要。通過在首發日使用先進的模型，團隊可以高效利用這些創新、保持相關性并提高競爭力。在過去的一年里，開源社區發布了一系列激動人心的模型系列，包括 Meta Llama、Google Gemma、Mistral Codestral、Codestral Mamba、Large 2、Mixtral、Qwen 3、2 和 2.5、Deepseek R1、NVIDIA Nemotron 和 NVIDIA Llama Nemotron。這些模型通常在 Hugging Face Hub 上提供，以便更廣泛的社區輕松訪問。發布后不久，許多用戶專注于評估模型功能和探索潛在應用。為了了解模型的潛力并發現創新機會，針對特定用例進行微調通常成為一個關鍵的優先事項。

Source

]]>

LLM 推理基準測試指南：NVIDIA GenAI-Perf 和 NIM

Tue, 06 May 2025 06:45:58 +0000

這是 LLM 基準測試系列的第二篇文章，介紹了在使用 NVIDIA NIM 部署 Meta Llama 3 模型時，如何使用 GenAI-Perf 對其進行基準測試。在構建基于 LLM 的應用時，了解這些模型在給定硬件上的性能特征至關重要。這有多種用途：作為以客戶端 LLM 為中心的基準測試工具， NVIDIA GenAI-Perf 提供了以下關鍵指標： GenAI-Perf 還支持任何符合 OpenAI API 規范（業內廣泛接受的默認標準）的 LLM 推理服務。在本基準測試指南中，我們使用了 NVIDIA NIM ，這是一系列推理微服務，可為基礎 LLM 和微調 LLM 提供高吞吐量和低延遲推理。NIM 具有易用性、企業級安全性和可管理性。為優化您的 AI 應用，本文將介紹如何為 Llama 3 設置 NIM 推理微服務，

Source

]]>

LLM 基準測試：基本概念

Wed, 02 Apr 2025 08:02:10 +0000

在過去幾年中，作為廣泛的 AI 革命的一部分，生成式 AI 和大語言模型 (LLMs) 越來越受歡迎。隨著基于 LLMs 的應用在各個企業中的推廣，我們需要確定不同 AI 服務解決方案的成本效益。部署 LLM 應用的成本取決于它每秒可以處理的查詢數量，同時響應最終用戶并支持可接受的響應準確度。本文特別關注 LLMs 吞吐量和延遲測量，以評估 LLM 應用成本。 NVIDIA 為開發者提供涵蓋芯片、系統和軟件的全棧創新。NVIDIA 推理軟件堆棧包括 NVIDIA Dynamo 、 NVIDIA TensorRT-LLM 和 NVIDIA NIM 微服務。為支持開發者實現基準測試推理性能，NVIDIA 還提供了開源生成式 AI 基準測試工具 GenAI-Perf 。詳細了解如何使用 GenAI-Perf 進行基準測試。可以使用各種工具來評估 LLMs 的性能。

Source

]]>