TensorRT-LLM

2025年 6月 27日
NVIDIA?TensorRT-LLM?支持騰訊混元最新大語言模型?Hunyuan-A13B?推理加速
騰訊混元 (Hunyuan) 最新大語言模型 Hunyuan-A13B 今日發布,NVIDIA TensorRT-LLM 作為全球領先的…
1 MIN READ

2025年 6月 26日
在魔搭社區使用 NVIDIA TensorRT-LLM PyTorch 新架構優化 Qwen3 系列模型推理
摘要: TensorRT-LLM 采用 PyTorch 全新架構進一步優化模型部署流程,提升開發者使用體驗。
2 MIN READ

2025年 6月 25日
如何使用 NVIDIA NeMo 技能簡化復雜的 LLM 工作流程
改進 LLM 的典型方法涉及多個階段:合成數據生成 (SDG) 、通過監督式微調 (SFT) 或強化學習 (RL) 進行模型訓練以及模型評估。
4 MIN READ

2025年 6月 24日
隆重推出 NVFP4,實現高效準確的低精度推理
為了充分利用 AI,優化至關重要。當開發者考慮優化用于推理的 AI 模型時,通常會想到量化、蒸餾和剪枝等模型壓縮技術。毫無疑問,
4 MIN READ

2025年 6月 11日
使用?NVIDIA Triton?和?TensorRT-LLM?部署?TTS?應用的最佳實踐
Text-to-Speech (TTS) 是智能語音技術的核心組成部分。隨著大模型時代的到來,TTS 模型的參數量和計算量持續增長,
2 MIN READ

2025年 5月 22日
Blackwell 借助 Meta 的 Llama 4 Maverick 突破 1000 TPS/ 用戶門檻
NVIDIA 的大語言模型 (LLM) 推理速度創下了世界紀錄。在包含 400 億參數的 Llama 4 Maverick 模型 (…
3 MIN READ

2025年 5月 2日
借助 NVIDIA 在生產應用中集成和部署 Tongyi Qwen3 模型
阿里巴巴近期發布了其開源的混合推理大語言模型(LLM)通義千問 Qwen3,此次 Qwen3 開源模型系列包含兩款混合專家模型 (MoE)…
3 MIN READ

2025年 4月 24日
使用 NVIDIA NIM 對游戲進行代理式 LLM 和 VLM 推理基準測試
這是 LLM 基準測試系列的第一篇文章,介紹了在使用 NVIDIA NIM 部署 Meta Llama 3 模型時,
2 MIN READ

2025年 4月 5日
NVIDIA 加速推理 Meta Llama 4 Scout 與 Maverick 模型
最新一代熱門 Llama AI 模型現已支持 Llama 4 Scout 和 Llama 4 Maverick。
2 MIN READ

2025年 4月 2日
LLM 基準測試:基本概念
在過去幾年中,作為廣泛的 AI 革命的一部分, 生成式 AI 和 大語言模型 (LLMs) 越來越受歡迎。
4 MIN READ

2025年 4月 2日
NVIDIA Blackwell 在 MLPerf Inference v5.0 中實現巨大的性能飛躍
在不斷增長的模型大小、實時延遲要求以及最近的 AI 推理的推動下, 大語言模型 (LLM) 推理的計算需求正在快速增長。與此同時,
3 MIN READ

2025年 3月 20日
借助 NVIDIA TensorRT-LLM 提升 Microsoft Azure AI Foundry 的 Llama 模型性能
微軟與 NVIDIA 合作,宣布在其 Azure AI Foundry 平臺上實現 Meta Llama 系列模型的變革性性能提升。
1 MIN READ

2025年 3月 18日
NVIDIA Blackwell 實現世界紀錄的 DeepSeek-R1 推理性能
NVIDIA 在 NVIDIA GTC 2025 上宣布了創下世界紀錄的 DeepSeek-R1 推理性能 。 搭載 8 個 NVIDIA…
5 MIN READ

2025年 2月 28日
聚焦:NAVER Place 利用 NVIDIA TensorRT-LLM 優化 SLM 基礎的垂直服務
NAVER 是一家韓國熱門搜索引擎公司,提供 Naver Place ,這是一項基于地理的服務,可提供有關韓國數百萬家企業和興趣點的詳細信息。
4 MIN READ

2025年 2月 14日
使用 NVIDIA TensorRT-LLM 前瞻性解碼優化 Qwen2.5-Coder 吞吐量
專注于編碼的 大語言模型(LLMs) 已穩步應用于開發者工作流程。從配對編程到自我改進的 AI 智能體 ,這些模型可幫助開發者完成各種任務,
3 MIN READ

2025年 2月 5日
利用特定領域的微調和 NVIDIA NIM 提高翻譯質量
翻譯在助力公司實現跨國業務擴展方面發揮著至關重要的作用,在語調、準確性和技術術語處理方面的要求差異很大。
3 MIN READ