TensorRT

2025年 7月 7日

LLM 推理基準測試：使用 TensorRT-LLM 進行性能調優

這是大語言模型延遲 – 吞吐量基準測試系列的第三篇博文，旨在指導開發者如何使用 TensorRT-LLM 對 LLM 推理進行基準測試。
3 MIN READ
2025年 7月 2日

通過低精度量化優化用于圖像編輯的 FLUX.1 Kontext

FLUX.1 Kontext 是 Black Forest Labs 最近發布的模型，是對社區圖像生成模型的一項令人著迷的補充。
3 MIN READ
2025年 6月 24日

隆重推出 NVFP4，實現高效準確的低精度推理

為了充分利用 AI，優化至關重要。當開發者考慮優化用于推理的 AI 模型時，通常會想到量化、蒸餾和剪枝等模型壓縮技術。毫無疑問，
4 MIN READ
2025年 6月 12日

使用 NVIDIA TensorRT for RTX 運行高性能 AI 應用

NVIDIA TensorRT for RTX 現可作為 SDK 下載，該 SDK 可集成到 Windows 和 Linux 的 C++ 和…
2 MIN READ
2025年 5月 19日

NVIDIA TensorRT for RTX 在 Windows 11 上推出優化的推理 AI 庫

在 Windows 上，創意、游戲和生產力應用方面的 AI 體驗正在迅速擴展。有各種框架可用于在臺式機、
3 MIN READ
2025年 5月 18日

聚焦：Perfect Corp. 利用 NVIDIA TensorRT 和 NVENC 實現個性化的數字化美妝體驗

增強現實 (AR) 和 AI 通過提供從虛擬試用到 AI 驅動的造型推薦等超個性化體驗，正在徹底改變美妝和時尚行業。
1 MIN READ
2025年 5月 14日

NVIDIA TensorRT 解鎖 NVIDIA Blackwell GeForce RTX 50 系列 GPU 的 FP4 圖像生成

NVIDIA Blackwell 平臺的推出開啟了生成式 AI 技術進步的新時代。其最前沿是新推出的 GeForce RTX 50 系列…
4 MIN READ
2025年 4月 24日

使用 NVIDIA NIM 對游戲進行代理式 LLM 和 VLM 推理基準測試

這是 LLM 基準測試系列的第一篇文章，介紹了在使用 NVIDIA NIM 部署 Meta Llama 3 模型時，
2 MIN READ
2025年 4月 21日

使用 NVIDIA TensorRT 優化基于 Transformer 的擴散模型以生成視頻

先進的圖像擴散模型需要數十秒才能處理單張圖像。這使得視頻擴散更具挑戰性，需要大量計算資源和高昂成本。
4 MIN READ
2025年 4月 5日

NVIDIA 加速推理 Meta Llama 4 Scout 與 Maverick 模型

最新一代熱門 Llama AI 模型現已支持 Llama 4 Scout 和 Llama 4 Maverick。
2 MIN READ
2025年 4月 2日

NVIDIA Blackwell 在 MLPerf Inference v5.0 中實現巨大的性能飛躍

在不斷增長的模型大小、實時延遲要求以及最近的 AI 推理的推動下， 大語言模型 (LLM) 推理的計算需求正在快速增長。與此同時，
3 MIN READ
2025年 3月 18日

NVIDIA Blackwell 實現世界紀錄的 DeepSeek-R1 推理性能

NVIDIA 在 NVIDIA GTC 2025 上宣布了創下世界紀錄的 DeepSeek-R1 推理性能 。 搭載 8 個 NVIDIA…
5 MIN READ
2025年 3月 18日

借助 NVIDIA DGX 云無服務器推理在云環境中無縫擴展人工智能

NVIDIA DGX Cloud Serverless Inference 是一種自動擴展 AI 推理解決方案，可實現快速可靠的應用部署。
3 MIN READ
2025年 3月 10日

借助 NVIDIA DriveOS LLM SDK 簡化自動駕駛汽車應用的 LLM 部署

大語言模型 (LLMs) 在自然語言處理 (NLP) 中表現出非凡的泛化能力。它們廣泛應用于翻譯、數字助理、推薦系統、上下文分析、代碼生成、
2 MIN READ
2025年 2月 28日

聚焦：NAVER Place 利用 NVIDIA TensorRT-LLM 優化 SLM 基礎的垂直服務

NAVER 是一家韓國熱門搜索引擎公司，提供 Naver Place ，這是一項基于地理的服務，可提供有關韓國數百萬家企業和興趣點的詳細信息。
4 MIN READ
2025年 1月 30日

為 NVIDIA Blackwell GeForce RTX 50 系列 GPU 發布全新 AI SDK 和工具

NVIDIA 最近宣布推出 新一代 PC GPU – GeForce RTX 50 系列 ，以及面向開發者的全新 AI 賦能 SDK 和工具。
2 MIN READ