TensorRTLLM

2024年 4月 22日

借助 NVIDIA TensorRT-LLM 和 NVIDIA Triton 推理服務器提升 Meta Llama 3 性能

我們很高興地宣布支持 Meta Llama 3 系列模型，通過 NVIDIA TensorRT LLM 加速和優化 LLM 推理性能。
2 MIN READ
2024年 4月 2日

使用 NVIDIA TensorRT-LLM 調整和部署 LoRA LLM

大型語言模型 (LLM) 可以從大量文本中學習，并為各種任務和領域生成流暢、一致的文本，從而徹底改變自然語言處理 (NLP)。然而，
7 MIN READ
2024年 3月 27日

NVIDIA H200 Tensor Core GPU 和 NVIDIA TensorRT-LLM 集 MLPerf LLM 推理記錄

隨著生成式 AI 模型的持續創新，生成式 AI 在計算應用方面取得了巨大進步，從而大幅增強人類能力。這些模型包括 生成式 AI 模型，
3 MIN READ
2024年 2月 5日

使用新的 NVIDIA AI 基礎模型生成代碼、回答查詢并翻譯文本

本周的 Model Monday 版本包含 NVIDIA 優化的代碼 Lama、Kosmos-2 和 SeamlessM4T，
4 MIN READ
2024年 2月 1日

借助 NVIDIA TensorRT-LLM 和 NVIDIA Triton 部署 AI 編碼助手

大型語言模型 (LLM) 的出現革新了人工智能領域，為與數字世界的交互提供了全新的方式。盡管 LLM 通常能夠提供良好的通用解決方案，
4 MIN READ