金國強 – NVIDIA 技術博客

在魔搭社區使用 NVIDIA TensorRT-LLM PyTorch 新架構優化 Qwen3 系列模型推理

Thu, 26 Jun 2025 07:08:55 +0000

摘要： TensorRT-LLM 采用 PyTorch 全新架構進一步優化模型部署流程，提升開發者使用體驗。 TensorRT-LLM 作為 NVIDIA 專為 LLM 推理部署加速優化的開源庫，可幫助開發者快速利用最新 LLM 完成應用原型驗證與產品部署。TensorRT-LLM 提供了一個全面的開源 SDK，用于加速和優化 LLM 推理，包含了最新極致優化的計算 Kernel、高性能 Attention 實現、多機多卡通信分布式支持、豐富的并行和量化策略等，從而在 NVIDIA GPU 上實現突破性的 LLM 推理性能。此外，TensorRT-LLM 采用了 PyTorch 的全新架構，提供了直觀簡潔的模型定義 API，便于定義和構建新模型，顯著減少了代碼量，同時大幅降低了 debugging難度，進一步優化了模型部署流程，提升了開發者的使用體驗。

Source

]]>

在阿里云 PAI 上一鍵部署和使用 NVIDIA Cosmos Reason-1 模型

Fri, 30 May 2025 05:24:58 +0000

NVIDIA 近期發布了 Cosmos Reason-1 的 7B 和 56B 兩款多模態大語言模型 (MLLM)，它們經過了“物理 AI 監督微調”和“物理 AI 強化學習”兩個階段的訓練。其中，Cosmos Reason-1-7B 已經開源，其基于 Qwen2.5-VL 使用物理常識和具身推理數據進行了后訓練。阿里云 PAI-Model Gallery 現已集成 Cosmos Reason-1-7B 模型并提供企業級部署方案，本文介紹如何在阿里云人工智能平臺 PAI (Platform of AI) 上快速部署和使用該模型。 NVIDIA Cosmos 平臺 NVIDIA Cosmos 是一個世界基礎模型 (WFM) 的開發平臺，整合了先進的分詞器、護欄以及用于加速數據處理和管理的工作流，它為世界模型的訓練提供支持，并加速智能駕駛汽車 (AV)…

Source

]]>

使用 NVIDIA NIM 在阿里云容器服務（ACK）中加速 LLM 推理

Mon, 02 Sep 2024 07:41:24 +0000

大語言模型（LLM）是近年來發展迅猛并且激動人心的熱點話題，引入了許多新場景，滿足了各行各業的需求。隨著開源模型能力的不斷增強，越來越多的企業開始嘗試在生產環境中部署開源模型，將AI模型接入到現有的基礎設施，優化系統延遲和吞吐量，完善監控和安全等方面。然而要在生產環境中部署這一套模型推理服務過程復雜且耗時。為了簡化流程，幫助企業客戶加速部署生成式 AI 模型，本文結合 NVIDIA NIM （一套專為安全、可靠地部署高性能 AI 模型推理而設計的微服務，是一套易于使用的預構建容器化工具）和阿里云容器服務 ACK 等產品，提供了一套開箱即用，可以快速構建一個高性能、可觀測、靈活彈性的 LLM 模型推理服務的操作指南。阿里云容器服務 Kubernetes 版 ACK（Container Service for…

Source

]]>