Neelay Shah – NVIDIA 技術博客

LLM 推理基準測試指南：NVIDIA GenAI-Perf 和 NIM

Tue, 06 May 2025 06:45:58 +0000

這是 LLM 基準測試系列的第二篇文章，介紹了在使用 NVIDIA NIM 部署 Meta Llama 3 模型時，如何使用 GenAI-Perf 對其進行基準測試。在構建基于 LLM 的應用時，了解這些模型在給定硬件上的性能特征至關重要。這有多種用途：作為以客戶端 LLM 為中心的基準測試工具， NVIDIA GenAI-Perf 提供了以下關鍵指標： GenAI-Perf 還支持任何符合 OpenAI API 規范（業內廣泛接受的默認標準）的 LLM 推理服務。在本基準測試指南中，我們使用了 NVIDIA NIM ，這是一系列推理微服務，可為基礎 LLM 和微調 LLM 提供高吞吐量和低延遲推理。NIM 具有易用性、企業級安全性和可管理性。為優化您的 AI 應用，本文將介紹如何為 Llama 3 設置 NIM 推理微服務，

Source

]]>

LLM 基準測試：基本概念

Wed, 02 Apr 2025 08:02:10 +0000

在過去幾年中，作為廣泛的 AI 革命的一部分，生成式 AI 和大語言模型 (LLMs) 越來越受歡迎。隨著基于 LLMs 的應用在各個企業中的推廣，我們需要確定不同 AI 服務解決方案的成本效益。部署 LLM 應用的成本取決于它每秒可以處理的查詢數量，同時響應最終用戶并支持可接受的響應準確度。本文特別關注 LLMs 吞吐量和延遲測量，以評估 LLM 應用成本。 NVIDIA 為開發者提供涵蓋芯片、系統和軟件的全棧創新。NVIDIA 推理軟件堆棧包括 NVIDIA Dynamo 、 NVIDIA TensorRT-LLM 和 NVIDIA NIM 微服務。為支持開發者實現基準測試推理性能，NVIDIA 還提供了開源生成式 AI 基準測試工具 GenAI-Perf 。詳細了解如何使用 GenAI-Perf 進行基準測試。可以使用各種工具來評估 LLMs 的性能。

Source

]]>

隆重推出 NVIDIA Dynamo：用于擴展推理AI模型的低延遲分布式推理框架

Tue, 18 Mar 2025 05:47:45 +0000

NVIDIA 今天在 GTC 2025 宣布發布 NVIDIA Dynamo 。NVIDIA Dynamo 是一個高吞吐量、低延遲的開源推理服務框架，用于在大規模分布式環境中部署生成式 AI 和推理模型。在 NVIDIA Blackwell 上運行開源 DeepSeek-R1 模型時，該框架最多可將請求數量提升 30 倍。NVIDIA Dynamo 與 PyTorch、SGLang 等開源工具兼容， NVIDIA TensorRT-LLM 和 vLLM，加入不斷擴大的推理工具社區，助力開發者和 AI 研究人員加速 AI。 NVIDIA Dynamo 引入了幾項關鍵創新，包括：從今天開始，NVIDIA Dynamo 可供開發者在 ai-dynamo/dynamo GitHub 存儲庫中使用。對于希望縮短生產時間并獲得企業級安全性、支持和穩定性的企業，

Source

]]>

在 NVIDIA AI 推理平臺上使用 Stable Diffusion XL 生成令人驚嘆的圖像

Thu, 07 Mar 2024 08:39:43 +0000

擴散模型正在各行各業中改變創意工作流程。這些模型通過采用降噪擴散技術，將隨機噪聲逐步塑造為 AI 生成的藝術，從而根據簡單的文本或圖像輸入生成令人驚嘆的圖像。這些模型可用于許多企業用例，例如為營銷創建個性化內容、為照片中的物體生成想象力的背景、為游戲設計動態高質量環境和角色等。雖然擴散模型是增強工作流程的有用工具，但在大規模部署時，這些模型會非常計算密集。在非專用硬件 (如 CPU) 上生成一批四張圖像可能需要幾分鐘時間，這可能會阻礙創意流程，并且成為許多開發者滿足嚴格服務級別協議 (SLA) 的障礙。在本文中，我們將向您展示 NVIDIA AI 推理平臺可以專注于解決這些挑戰，穩定 Diffusion XL(SDXL)。我們首先探討企業在生產環境中部署 SDXL 時面臨的常見挑戰，然后深入探討如何 Google Cloud 的 G2 實例由NVIDIA L4 Tensor…

Source

]]>

在 NVIDIA AI 推理平臺上使用 Stable Diffusion XL 生成令人驚嘆的圖像

Wed, 06 Mar 2024 06:25:59 +0000

Source

]]>