LLM Benchmarking

2025年 7月 7日

LLM 推理基準測試：使用 TensorRT-LLM 進行性能調優

這是大語言模型延遲 – 吞吐量基準測試系列的第三篇博文，旨在指導開發者如何使用 TensorRT-LLM 對 LLM 推理進行基準測試。
3 MIN READ
2025年 6月 18日

基準測試大型語言模型推理成本以實現更智能的擴展和部署

這是大語言模型延遲-吞吐量基準測試系列的第三篇博文，旨在指導開發者如何通過估算總體擁有成本 (TCO) 來確定 LLM 推理的成本。
3 MIN READ
2025年 6月 4日

NVIDIA Blackwell 在 MLPerf Training v5.0 中實現高達 2.6 倍的性能提升

創建先進的大語言模型 (LLM) 的過程始于預訓練過程。預訓練最先進的模型具有很高的計算要求，因為熱門的開放權重模型具有數百億到數千億個參數，
3 MIN READ
2025年 6月 4日

重現 NVIDIA MLPerf v5.0 的 LLM 基準測試訓練成績

運行 NVIDIA 基準測試時，您的系統需要具備以下內容： 運行 NVIDIA MLPerf 訓練基準測試需要：
4 MIN READ
2025年 5月 18日

宣布推出適用于基準測試 AI 云基礎設施的 NVIDIA 示例云

長期以來，在云端訓練 大語言模型 (LLMs) 和部署 AI 工作負載的開發者和企業一直面臨著一項根本性挑戰：
1 MIN READ
2025年 5月 6日

LLM 推理基準測試指南：NVIDIA GenAI-Perf 和 NIM

這是 LLM 基準測試系列 的第二篇文章，介紹了在使用 NVIDIA NIM 部署 Meta Llama 3 模型 時，
4 MIN READ
2025年 4月 24日

使用 NVIDIA NIM 對游戲進行代理式 LLM 和 VLM 推理基準測試

這是 LLM 基準測試系列的第一篇文章，介紹了在使用 NVIDIA NIM 部署 Meta Llama 3 模型時，
2 MIN READ