云服務

2025年 7月 7日
LLM 推理基準測試:使用 TensorRT-LLM 進行性能調優
這是大語言模型延遲 – 吞吐量基準測試系列的第三篇博文,旨在指導開發者如何使用 TensorRT-LLM 對 LLM 推理進行基準測試。
3 MIN READ

2025年 7月 7日
使用 DPU 加速的 Kubernetes 服務代理增強 AI 工廠
隨著 AI 借助代理式 AI 向規劃、研究和推理發展,工作流變得越來越復雜。為了高效部署代理式 AI 應用,AI 云需要軟件定義、
2 MIN READ

2025年 7月 7日
提出一個維基百科規模的問題:如何利用數百萬 token 的實時推理使世界更加智能
現代 AI 應用越來越依賴于將龐大的參數數量與數百萬個令牌的上下文窗口相結合的模型。無論是經過數月對話的 AI 智能體、
3 MIN READ

2025年 6月 25日
NVIDIA DOCA 3.0 助力 AI 平臺開啟網絡新紀元
NVIDIA DOCA 框架已發展成為新一代 AI 基礎設施的重要組成部分。從初始版本到備受期待的 NVIDIA DOCA 3.0 發布,
3 MIN READ

2025年 6月 24日
隆重推出 NVFP4,實現高效準確的低精度推理
為了充分利用 AI,優化至關重要。當開發者考慮優化用于推理的 AI 模型時,通常會想到量化、蒸餾和剪枝等模型壓縮技術。毫無疑問,
4 MIN READ

2025年 6月 24日
NVIDIA Run:ai 和 Amazon SageMaker HyperPod 攜手簡化復雜 AI 訓練管理
NVIDIA Run:ai 和 Amazon Web Services 引入了集成,使開發者能夠無縫擴展和管理復雜的 AI 訓練工作負載。
2 MIN READ

2025年 6月 18日
搶先體驗 NVIDIA GB200 系統如何幫助 LMarena 構建評估 LLM 的模型
在 NVIDIA 和 Nebius 的幫助下,加州大學伯克利分校的 LMArena 可以更輕松地了解哪些大語言模型在特定任務中表現出色。
2 MIN READ

2025年 6月 11日
隆重推出 NVIDIA DGX 云 Lepton:面向開發者的統一 AI 平臺
AI 原生應用的時代已經到來。開發者正在構建先進的代理式 AI 和物理 AI 系統,但跨地區和 GPU 提供商進行擴展仍然是一項挑戰。
2 MIN READ

2025年 6月 9日
借助 EoRA 快速恢復 LLM 壓縮錯誤的免微調方法
模型壓縮技術已經過廣泛探索,可減少為大語言模型 (LLM) 或其他大型神經網絡提供服務所需的計算資源。 但是,與未壓縮的模型相比,
5 MIN READ

2025年 5月 22日
Blackwell 借助 Meta 的 Llama 4 Maverick 突破 1000 TPS/ 用戶門檻
NVIDIA 的大語言模型 (LLM) 推理速度創下了世界紀錄。在包含 400 億參數的 Llama 4 Maverick 模型 (…
3 MIN READ

2025年 5月 18日
宣布推出適用于基準測試 AI 云基礎設施的 NVIDIA 示例云
長期以來,在云端訓練 大語言模型 (LLMs) 和部署 AI 工作負載的開發者和企業一直面臨著一項根本性挑戰:
1 MIN READ

2025年 5月 15日
使用 NVIDIA CUDA-X 和 Coiled 簡化云端環境設置并加速數據科學運算
想象一下,分析紐約市數百萬次的拼車旅程 — — 跟蹤各自治市的模式、比較服務定價或確定有利可圖的取車地點。
4 MIN READ

2025年 5月 14日
借助 NVIDIA Nemo 框架,在遠程數據中心網絡中加速 LLM 訓練
多數據中心訓練對 AI 工廠至關重要,因為預訓練擴展會推動更大模型的創建,導致對計算性能的需求超過單個設施的能力。
2 MIN READ

2025年 5月 13日
使用 NVIDIA Air 服務將仿真與現實世界連接
NVIDIA Air 通過創建與真實數據中心基礎設施部署相同的副本來實現云規模效率。借助 NVIDIA Air,
1 MIN READ

2025年 4月 23日
聚焦:Qodo 借助 NVIDIA DGX 實現高效代碼搜索創新
大語言模型 (LLMs) 使 AI 工具能夠幫助您更快地編寫更多代碼,但隨著我們要求這些工具承擔越來越復雜的任務,其局限性變得顯而易見。
3 MIN READ

2025年 4月 2日
LLM 基準測試:基本概念
在過去幾年中,作為廣泛的 AI 革命的一部分, 生成式 AI 和 大語言模型 (LLMs) 越來越受歡迎。
4 MIN READ