Posts by Ganesh Kudleppanavar
數據中心/云端
2025年 5月 6日
LLM 推理基準測試指南:NVIDIA GenAI-Perf 和 NIM
這是 LLM 基準測試系列 的第二篇文章,介紹了在使用 NVIDIA NIM 部署 Meta Llama 3 模型 時,
4 MIN READ
數據中心/云端
2024年 8月 1日
使用 NVIDIA GenAI-Perf 和 OpenAI 兼容 API 測量生成式 AI 模型性能
NVIDIA 提供 Perf Analyzer 和 Model Analyzer 等工具,幫助機器學習工程師測量和平衡延遲與吞吐量之間的權衡,
2 MIN READ