AI Inference / Inference Microservices

2025年 6月 3日

NVIDIA Base Command Manager 為 AI 集群管理提供免費的啟動程序

隨著 AI 和高性能計算 (HPC) 工作負載變得越來越常見和復雜，系統管理員和集群管理員是確保一切平穩運行的核心。他們的工作 (構建、
1 MIN READ
2025年 5月 22日

Blackwell 借助 Meta 的 Llama 4 Maverick 突破 1000 TPS/ 用戶門檻

NVIDIA 的大語言模型 (LLM) 推理速度創下了世界紀錄。在包含 400 億參數的 Llama 4 Maverick 模型 (…
3 MIN READ
2025年 5月 21日

NVIDIA Dynamo 加速 llm-d 社區計劃，推動大規模分布式推理

在 Red Hat Summit 2025 上推出的 llm-d 社區標志著開源生態系統在加速生成式 AI 推理創新方面邁出了重要一步。
1 MIN READ
2025年 5月 19日

NVIDIA TensorRT for RTX 在 Windows 11 上推出優化的推理 AI 庫

在 Windows 上，創意、游戲和生產力應用方面的 AI 體驗正在迅速擴展。有各種框架可用于在臺式機、
3 MIN READ
2025年 5月 18日

借助 NVIDIA NVLink Fusion 將半定制計算平臺集成到機架級架構

為了高效應對 AI 工作負載，數據中心正在被重構。這是一項非常復雜的工作，因此，
2 MIN READ
2025年 5月 12日

在 Azure AI Foundry 上使用 NVIDIA NIM 加速 AI 推理

將 NVIDIA NIM 微服務 集成到 Azure AI Foundry ，標志著企業 AI 開發的重大飛躍。
4 MIN READ
2025年 5月 8日

云端 Apache Spark 加速深度學習和大語言模型推理

Apache Spark 是用于大數據處理和分析的行業領先平臺。隨著非結構化數據（documents、emails、
4 MIN READ
2025年 4月 23日

NVIDIA Secure AI 正式發布

隨著許多企業開始對其數據進行 AI 訓練或推理，需要保護數據和代碼，尤其是大語言模型 (LLMs) 。由于數據敏感性，
1 MIN READ
2025年 4月 21日

使用 NVIDIA TensorRT 優化基于 Transformer 的擴散模型以生成視頻

先進的圖像擴散模型需要數十秒才能處理單張圖像。這使得視頻擴散更具挑戰性，需要大量計算資源和高昂成本。
4 MIN READ
2025年 4月 5日

NVIDIA 加速推理 Meta Llama 4 Scout 與 Maverick 模型

最新一代熱門 Llama AI 模型現已支持 Llama 4 Scout 和 Llama 4 Maverick。
2 MIN READ
2025年 4月 2日

LLM 基準測試：基本概念

在過去幾年中，作為廣泛的 AI 革命的一部分， 生成式 AI 和 大語言模型 (LLMs) 越來越受歡迎。
4 MIN READ
2025年 4月 2日

NVIDIA Blackwell 在 MLPerf Inference v5.0 中實現巨大的性能飛躍

在不斷增長的模型大小、實時延遲要求以及最近的 AI 推理的推動下， 大語言模型 (LLM) 推理的計算需求正在快速增長。與此同時，
3 MIN READ
2025年 3月 25日

借助 NVIDIA Mission Control 實現 AI 工廠自動化

DeepSeek-R1 等先進的 AI 模型證明，企業現在可以構建專用于自己的數據和專業知識的尖端 AI 模型。
2 MIN READ
2025年 3月 20日

借助 NVIDIA TensorRT-LLM 提升 Microsoft Azure AI Foundry 的 Llama 模型性能

微軟與 NVIDIA 合作，宣布在其 Azure AI Foundry 平臺上實現 Meta Llama 系列模型的變革性性能提升。
1 MIN READ
2025年 3月 19日

AI 推理時代的 NVIDIA Blackwell Ultra

多年來，AI 的進步一直通過預訓練擴展遵循清晰的軌跡：更大的模型、更多的數據和更豐富的計算資源帶來了突破性的功能。在過去 5 年中，
2 MIN READ
2025年 3月 18日

隆重推出 NVIDIA Dynamo：用于擴展推理AI模型的低延遲分布式推理框架

NVIDIA 今天在 GTC 2025 宣布發布 NVIDIA Dynamo 。NVIDIA Dynamo 是一個高吞吐量、
4 MIN READ