Gunjan Mehta – NVIDIA 技術博客

使用 NVIDIA TensorRT for RTX 運行高性能 AI 應用

Thu, 12 Jun 2025 08:01:12 +0000

NVIDIA TensorRT for RTX 現可作為 SDK 下載，該 SDK 可集成到 Windows 和 Linux 的 C++ 和 Python 應用中。在 Microsoft Build 上，我們推出了這款用于高性能 AI 推理的精簡解決方案，支持從 NVIDIA Turing 到 NVIDIA Blackwell 各代產品 (包括最新的 NVIDIA RTX PRO 系列) 的 NVIDIA GeForce RTX GPU。此首個版本可為各種工作負載（包括卷積神經網絡（CNN）、語音模型和擴散模型）提供高性能推理。TensorRT for RTX 是創意、游戲和生產力應用的理想選擇。我們還有一個 GitHub 項目資源庫，其中包含入門 API 示例和演示，可幫助開發者快速入門。 TensorRT for RTX 基于 NVIDIA TensorRT…

Source

]]>

NVIDIA TensorRT for RTX 在 Windows 11 上推出優化的推理 AI 庫

Mon, 19 May 2025 05:35:42 +0000

在 Windows 上，創意、游戲和生產力應用方面的 AI 體驗正在迅速擴展。有各種框架可用于在臺式機、筆記本電腦或工作站上本地加速這些應用中的 AI 推理。開發者需要適應廣泛的生態系統。他們必須在特定于硬件的庫或跨供應商框架 (如 DirectML) 之間進行選擇，以實現最高性能。DirectML 可簡化 CPU、GPU 和 NPU 之間的部署，但并不總是充分發揮每個設備的潛力。在性能和兼容性之間取得適當平衡對于開發者至關重要。今天，我們宣布推出適用于 RTX 的 NVIDIA TensorRT ，以應對這些挑戰。它作為 Windows ML 的一部分在 Windows 11 上提供，Windows ML 是 Microsoft 在 Microsoft Build 上新發布的 AI 推理框架。它們共同通過標準化 API 為開發者提供經 NVIDIA 優化的加速，

Source

]]>

NVIDIA TensorRT 解鎖 NVIDIA Blackwell GeForce RTX 50 系列 GPU 的 FP4 圖像生成

Wed, 14 May 2025 07:41:19 +0000

NVIDIA Blackwell 平臺的推出開啟了生成式 AI 技術進步的新時代。其最前沿是新推出的 GeForce RTX 50 系列 GPU，適用于 PC 和工作站，配備具有 4 位浮點計算 (FP4) 的第五代 Tensor Cores，是加速 Black Forest Labs 的 FLUX 等高級生成式 AI 模型的必備。隨著新的圖像生成模型力求達到速度、準確性、更高分辨率和復雜的提示依從性，它們變得越來越大、越來越復雜。要在 PC 和工作站的本地推理中部署這些大型復雜模型，超越 16 位和 8 位計算的優勢在于。 Blackwell 與 NVIDIA TensorRT 推理工具軟件生態系統相結合，可提供易于使用的庫，這些庫支持用于推理的 FP4 量化和部署，具有出色的性能和質量。實現這一目標并非易事。為了利用 Blackwell 中的 4 位硬件創新，

Source

]]>

借助 NVIDIA TensorRT 輕量級引擎，為 AI 應用提供卓越性能和最小占用空間

Tue, 11 Jun 2024 06:45:32 +0000

NVIDIA TensorRT一個成熟的數據中心推理庫，已迅速成為 NVIDIA GeForce RTX 和 NVIDIA RTX GPU 的理想推理后端。現在，部署 TensorRT 借助預構建的 TensorRT 引擎，應用變得更加簡單。新發布的重量去除 TensorRT 10.0 引擎提供了一種獨特的解決方案，通過將其縮小到僅執行代碼來最大限度地減少引擎出貨量，從而實現 > 95%的引擎尺寸壓縮。在本文中，我們將討論如何構建輕量級引擎，以及如何使用 TensorRT 40MB 精簡運行時直接在最終用戶設備上對其進行改裝。 TensorRT 10.0 中引入的權重剝離引擎包含無權重的執行代碼 (CUDA 內核).在構建階段啟用權重剝離后，引擎的體積比傳統引擎小 95%以上，并且僅保留必要的權重以優化性能。這些引擎支持 ONNX 模型和其他網絡定義，

Source

]]>