open source – NVIDIA 技術博客

搶先體驗 NVIDIA GB200 系統如何幫助 LMarena 構建評估 LLM 的模型

Wed, 18 Jun 2025 04:42:15 +0000

在 NVIDIA 和 Nebius 的幫助下，加州大學伯克利分校的 LMArena 可以更輕松地了解哪些大語言模型在特定任務中表現出色。該公司的排名由 Prompt-to-Leaderboard (P2L) 模型提供支持，可從人類那里收集 AI 在數學、編碼或創意寫作等領域的最佳表現方面的投票。 LMarena 聯合創始人、加州大學伯克利分校博士生 Wei-Lin Chiang 表示：“我們捕捉用戶在任務中的偏好，并應用 Bradley-Terry 系數來確定哪個模型在每個領域表現最好。過去兩年，LMArena (以前稱為 LMSys) 一直在開發 P2L。 LMArena 正在使用 NVIDIA DGX 云和 Nebius AI Cloud 大規模部署 P2L。此次合作以及 LMArena 對 NVIDIA GB200 NVL72 的使用，

Source

]]>

編譯器資源管理器：CUDA 開發者必備的內核實驗室

Wed, 18 Jun 2025 04:39:02 +0000

您是否曾想過，當您編寫 GPU 核函數時，CUDA 編譯器究竟會生成什么？是否曾想與同事輕松分享精簡的 CUDA 示例，而無需他們先安裝特定的 CUDA 工具包版本？或者，也許您完全不熟悉 CUDA，正在尋找一種無需安裝任何東西甚至無需配備 GPU 的簡單方法？得益于廣泛使用的開源工具 Compiler Explorer (通常稱為 godbolt) ，您可以直接通過瀏覽器以交互方式即時完成所有這些工作。本文將解釋 Compiler Explorer 提供的內容，以及為什么它應該成為 CUDA 開發工具套件的一部分。編譯器資源管理器是一款基于 Web 的工具，可幫助開發者編寫源代碼，使用各種編譯器實時編譯，并立即查看生成的輸出，例如 assembly、中間表示 (IR) 、PTX 等。 Compiler Explorer 最初由 Matt Godbolt 創建，

Source

]]>

借助 NVIDIA Nemotron 開放推理模型推動代理式 AI 發展

Wed, 11 Jun 2025 08:18:23 +0000

隨著 AI 向更大的自主性邁進，能夠獨立決策的 AI 智能體的出現標志著一個重要的里程碑。為了在復雜的現實環境中有效發揮作用，這些智能體必須超越模式識別和統計預測。這是由采用 reasoning models 驅動的，這些模型旨在處理信息、應用邏輯和做出決策，從而實現更智能、適應性更強的行為。通過將結構化思維與情境感知相結合，推理模型為智能體提供認知基礎，使其能夠以類似人類的理解來處理動態任務。企業需要在任何平臺上運行完全控制的高級推理模型，以更大限度地提高智能體的能力。為了加速企業采用 AI 智能體，NVIDIA 正在構建 NVIDIA Nemotron 開放模型系列。這些模型在推理和代理式任務方面實現了領先的準確性，并在從邊緣到數據中心和云的加速計算中提供了開放推理模型中的最高計算效率。本文將介紹構建 Nemotron 模型的過程，該過程從可用的最佳基礎模型開始。然后，

Source

]]>

借助 EoRA 快速恢復 LLM 壓縮錯誤的免微調方法

Mon, 09 Jun 2025 05:08:54 +0000

模型壓縮技術已經過廣泛探索，可減少為大語言模型 (LLM) 或其他大型神經網絡提供服務所需的計算資源。但是，與未壓縮的模型相比，大多數現有方法的準確性顯著下降，或者訓練時間較長。此外，其適應性通常受到硬件支持的壓縮格式（例如 2:4 sparsity、3/4-bit quantization）范圍有限的限制，難以滿足用戶對準確性和效率的各種要求。 NVIDIA Research 臺灣、Learning & Perception Research Group、AI Accelerator & VLSI Research Group 以及 NeMo Group 將模型壓縮重構為自定義補償。他們開發了 Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation…

Source

]]>

NVIDIA 語音 AI 模型實現業界領先的準確性和性能

Wed, 04 Jun 2025 07:03:21 +0000

NVIDIA 正在推動語音 AI 和語言模型實現出色的性能、效率和可訪問性，為重新定義自動語音識別 (ASR) 可能性的創新奠定基礎。 NVIDIA Parakeet TDT 0.6 B v2 是一個包含 6 億個參數的自動語音識別 (ASR) 模型，專為高質量英語轉錄而設計。目前，它與其他四款排名靠前的 NVIDIA Parakeet 車型一起在 Hugging Face ASR 排行榜上排名第一。NVIDIA NeMo Canary 模型也在 Hugging Face ASR 排行榜上大放異彩。本文將探討這些和其他先進的 NVIDIA 語音 AI 模型如何為自動語音識別 (ASR) 的準確性、速度和通用性設定新的基準。我們將回顧模型亮點、排行榜性能和實際部署選項，以便您可以將這些先進的模型用于現實世界的應用。 NVIDIA Parakeet 和 Canary AI…

Source

]]>

NVIDIA Dynamo 加速 llm-d 社區計劃，推動大規模分布式推理

Wed, 21 May 2025 04:52:27 +0000

在 Red Hat Summit 2025 上推出的 llm-d 社區標志著開源生態系統在加速生成式 AI 推理創新方面邁出了重要一步。llm-d 基于 vLLM 和 Inference Gateway 構建，通過 Kubernetes 原生架構擴展了 vLLM 的功能，從而實現大規模推理部署。本文將介紹支持 llm-d 項目的關鍵 NVIDIA Dynamo 組件。大規模分布式推理利用模型并行技術（例如 tensor、pipeline 和 expert parallelism），這些技術依賴于 internode 和 intranode、低延遲、高吞吐量的通信。它們還需要在 disaggregated serving 環境中，在預填充和解碼 GPU 工作者之間快速傳輸 KV 緩存。為實現高吞吐量、低延遲的分布式和分解數據傳輸，llm-d 利用了 NVIDIA…

Source

]]>

隨著 NVIDIA PhysX 5 的發布，開源仿真得以擴展

Tue, 08 Nov 2022 03:31:00 +0000

NVIDIA PhysX 5 SDK 的最新版本現在可在與 NVIDIA PhysX 4 相同的開源許可條款下使用，以幫助在全球行業中擴展模擬工作流和應用程序。您可以在 NVIDIA-Omniverse/PhysX GitHub 存儲庫中找到這個備受期待的更新。 PhysX 是一項長期的 GameWorks 技術，已成為 NVIDIA Omniverse 的主要物理引擎和關鍵基礎技術支柱。它是一個強大的模擬引擎，目前被行業領導者用于機器人、深度強化學習、自動駕駛、工廠自動化和視覺效果。對于下一代機器人應用，它將以模擬和測試自主機器所需的實時速度實現高保真仿真。 Open 3D 基金會執行董事兼 Linux 基金會數字媒體和游戲總經理 Royal O ‘ Brien 表示：“擁有一個功能強大、開源的物理工具，如 NVIDIA 的新 PhysX 5 庫，

Source

]]>

任何人都可以通過 NVIDIA Omniverse 的新測試版構建元宇宙應用程序

Tue, 08 Nov 2022 03:28:00 +0000

NVIDIA Omniverse 的新 beta 版現已推出，并對核心參考應用程序和工具進行了重大更新，供開發人員創作者和希望構建元宇宙應用程序的新手使用。 Omniverse 平臺的每一個核心組件都已更新s，以使其更快、更易訪問、更靈活地用于跨應用程序的協作工作流。這些更新使任何背景的開發人員能夠在任何地方輕松構建他們的自定義應用程序、連接和擴展。了解有關如何在 NVIDIA Omniverse上開發的更多信息。由于支持新的 NVIDIA Ada Generation GPUs 和 NVIDIA 模擬技術的進步，這一新的測試版側重于最大化從多個第三方應用程序攝取大型復雜場景的便利性，以及最大化實時渲染、路徑跟蹤和物理模擬。 Omniverse Nucleus 是 NVIDIA Omniverse 的中央數據庫和協作引擎，

Source

]]>

NVIDIA 宣布完全開源的材質定義語言，以簡化圖形管道

Tue, 09 Aug 2022 05:34:00 +0000

NVIDIA 在 SIGGRAPH 2022 宣布全面開源材料定義語言（ MDL ） – 包括 MDL 蒸餾器和 GLSL 后端技術，以進一步擴展 MDL 生態系統。為材質和渲染模擬構建世界上最精確和可擴展的模型是一項持續的工作，需要靈活性和適應性。 MDL 是 NVIDIA 對渲染器算法不可知的材質定義的愿景，用于材質交換。 MDL 從當前的筒倉中解鎖材料表示，允許它們遍歷軟件生態系統。它可以通過降低材料復雜性來提高性能，用于定義復雜、物理精確的材料。 NVIDIA 正在開源 MDL 蒸餾器，為各種渲染器提供一流的 MDL 支持實現。作為 MDL SDK 和語言的配套技術， Distiller 是一個全自動解決方案，可將所有 MDL 材質簡化為更簡單渲染器的簡化材質模型。作為渲染器開發人員，您現在可以提供相應的 MDL 蒸餾器規則，

Source

]]>

使用加速 WEKA 加速機器學習模型

Fri, 01 Jul 2022 07:36:00 +0000

近年來，建筑業和采用機器學習（ ML ）工具。使用 GPU 加速計算日益密集的模型已成為一個突出的趨勢。為了增加用戶訪問，加速 WEKA 項目通過集成開源 RAPIDS 庫，為在知名的 WEKA 算法中使用 GPU 提供了一個可訪問的入口點。在這篇文章中，我們將向您介紹加速 WEKA ，并學習如何使用 WEKA 軟件利用圖形用戶界面（ GUI ）的 GPU 加速算法。這種 Java 開源替代方案適合于從不同環境或包中尋找各種 ML 算法的初學者。加速 WEKA 將 WEKA 軟件（一種著名的開源 Java 軟件）與利用 GPU 縮短 ML 算法執行時間的新技術相結合。針對沒有系統配置和編碼專業知識的用戶，它有兩個好處：易于安裝和指導 ML 任務的配置和執行的 GUI 。加速 WEKA 是一個可用于 WEKA 的軟件包集合，

Source

]]>