Erin Ho – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Wed, 26 Mar 2025 05:40:42 +0000
zh-CN
hourly
1
196178272 -
NVIDIA Blackwell 實現世界紀錄的 DeepSeek-R1 推理性能
http://www.open-lab.net/zh-cn/blog/nvidia-blackwell-delivers-world-record-deepseek-r1-inference-performance/
Tue, 18 Mar 2025 05:30:54 +0000
http://www.open-lab.net/zh-cn/blog/?p=13327
Continued]]>
NVIDIA 在 NVIDIA GTC 2025 上宣布了創下世界紀錄的 DeepSeek-R1 推理性能 。 搭載 8 個 NVIDIA Blackwell GPU 的單個 NVIDIA DGX 系統 ,在具有 671 億個參數的先進大型 DeepSeek-R1 模型上,每個用戶每秒可實現超過 250 個 token,或每秒超過 30,000 個 token 的最大吞吐量。得益于 NVIDIA 開放生態系統的推理開發者工具的改進 (現已針對 NVIDIA Blackwell 架構進行優化) ,這些性能頻譜兩端的快速性能提升得以實現。 隨著 NVIDIA 平臺不斷突破最新 NVIDIA Blackwell Ultra GPU 和 NVIDIA Blackwell GPU 的推理極限,這些性能記錄將會得到改善。 單個 DGX B200 8-GPU 系統和單個 DGX…
Source
]]>
13327
-
NVIDIA TensorRT 模型優化器 v0.15 提高推理性能擴展模型支持能力
http://www.open-lab.net/zh-cn/blog/nvidia-tensorrt-model-optimizer-v0-15-boosts-inference-performance-and-expands-model-support/
Thu, 15 Aug 2024 08:58:32 +0000
http://www.open-lab.net/zh-cn/blog/?p=11049
Continued]]>
NVIDIA 宣布推出新版 v0.15 NVIDIA TensorRT 模型優化器,這是一種先進的模型優化技術量化工具包,包含量化、稀疏和剪枝。這些技術可降低模型復雜性,使 NVIDIA TensorRT-LLM 和 NVIDIA TensorRT 等下游推理框架能夠更有效地優化生成式 AI 模型的推理速度。 本文將概述近期 TensorRT Model Optimizer 版本的一些主要特性和升級,包括緩存擴散、使用 NVIDIA NeMo 的全新量化感知訓練工作流程以及 QLoRA 支持。 以前,TensorRT Model Optimizer(簡稱‘Model Optimizer’)利用其 8 位訓練后量化(PTQ)技術強效助力 NVIDIA TensorRT,為 Stable Diffusion XL 的性能設立了標桿。為進一步普及擴散模型的快速推理,
Source
]]>
11049
-
利用新的 NVIDIA Megatron-Core 功能高效訓練生成式 AI 模型
http://www.open-lab.net/zh-cn/blog/train-generative-ai-models-more-efficiently-with-new-nvidia-megatron-core-functionalities/
Fri, 12 Jul 2024 05:25:25 +0000
http://www.open-lab.net/zh-cn/blog/?p=10658
Continued]]>
NVIDIA Megatron-LM 于 2019 年首次推出,在 AI 社區引發了一波創新浪潮,使研究人員和開發者能夠利用該開源庫的基礎進一步推動大型語言模型(LLM)的進步。如今,許多最流行的 LLM 開發者框架都受到 Megatron-LM 庫的啟發并使用其構建,從而引發了一系列基礎模型和 AI 初創公司的浪潮。基于 Megatron-LM 構建的一些最流行的 LLM 框架包括 Colossal-AI, Hugging Face Accelerate, 和 NVIDIA NeMo。 為便于輕松遷移,并使研究人員和模型開發者能夠訪問分布式訓練中的最新研究成果,NVIDIA 最近對 Megatron-LM 進行了改進。這樣便推出了 NVIDIA Megatron-Core,一個基于 PyTorch 的開源庫,包含一系列 GPU 優化技術、先進的系統級創新和模塊化 API,
Source
]]>
10658
-
NVIDIA TensorRT 模型優化器加速生成人工智能推理性能,現已公開
http://www.open-lab.net/zh-cn/blog/accelerate-generative-ai-inference-performance-with-nvidia-tensorrt-model-optimizer-now-publicly-available/
Wed, 08 May 2024 04:49:34 +0000
http://www.open-lab.net/zh-cn/blog/?p=9822
Continued]]>
在快速發展的環境中,生成人工智能的發展對加速推理速度的需求仍然是一個緊迫的問題。隨著模型規模和復雜性的指數級增長,對快速生成結果以同時服務于眾多用戶的需求也在持續增長。NVIDIA 平臺站在這一努力的前沿,通過芯片、系統、軟件和算法等全技術堆棧的創新,實現永久的性能飛躍。 NVIDIA 正在擴展其推理產品 NVIDIA TensorRT 模型優化器,一個集成了最先進的后期訓練和環中訓練模型優化技術的綜合庫。這些技術包括量化和稀疏性,旨在降低模型復雜性,以實現更高效的下游推理庫,如 NVIDIA TensorRT LLM,從而更有效地優化深度學習模型的推理速度。 作為 NVIDIA TensorRT 生態系統的一部分,NVIDIA TensorRT 模型優化器(簡稱模型優化器)可用于多種流行的體系結構,包括 NVIDIA Hopper、NVIDIA Ampere 和 NVIDIA…
Source
]]>
9822
-
NVIDIA TensorRT 通過 8 位預訓練量化將 Stable Diffusion 的速度提升近 2 倍
http://www.open-lab.net/zh-cn/blog/tensorrt-accelerates-stable-diffusion-nearly-2x-faster-with-8-bit-post-training-quantization/
Thu, 07 Mar 2024 08:28:49 +0000
http://www.open-lab.net/zh-cn/blog/?p=9239
Continued]]>
在生成式 AI 的動態領域,擴散模型脫穎而出,成為使用文本提示生成高質量圖像的功能強大的架構 .Stable Diffusion 等模型徹底改變了創意應用。 但是,由于需要執行迭代降噪步驟,擴散模型的推理過程非常計算密集。這對致力于實現最佳端到端推理速度的公司和開發者帶來了嚴峻挑戰。 首先,NVIDIA TensorRT 9.2.0 引入了一款出色的量化工具包,支持FP8 或 INT8 預訓練量化 (PTQ),顯著提升了在 NVIDIA 硬件上部署擴散模型的速度,同時保持圖像質量。TensorRT 的 8 位量化功能已成為眾多生成式 AI 公司的首選解決方案,特別是對于領先的創意視頻編輯應用程序提供商。 在本文中,我們討論了 TensorRT 與 Stable Diffusion XL 的性能。我們介紹了支持 TensorRT 成為低延遲 Stable Diffusion…
Source
]]>
9239
人人超碰97caoporen国产