Blueprint – NVIDIA 技術博客

使用 OpenUSD 和 SimReady 資產構建 AI 工廠

Sun, 18 May 2025 06:09:21 +0000

適用于 AI 工廠數字孿生的 NVIDIA Omniverse Blueprint 在 COMPUTEX 2025 上發布，現已支持 OpenUSD 模式。該藍圖采用新工具，可在電力、冷卻和網絡基礎設施方面模擬數據中心設計的更多方面。工程團隊現在可以在逼真的虛擬世界中設計和測試整個 AI 工廠，幫助他們及早發現問題，從而構建更智能、更可靠的設施。此藍圖的核心是 SimReady 標準化工作流程的首次亮相，該框架用于映射實現 SimReady 資產和功能所需的基本流程、角色、文檔和技術。 NVIDIA 的開發初衷是幫助內部團隊應對圍繞專為多個模擬運行時設計的 OpenUSD 資產構建新規范的獨特挑戰，現在，NVIDIA 正在公開提供這種“生命資源”。通過與更廣泛的生態系統分享經驗，NVIDIA 旨在幫助開發者簡化其工作流程，

Source

]]>

使用 NVIDIA AI Blueprint 進行視頻搜索和摘要，推動視頻分析 AI 智能體的發展

Sun, 18 May 2025 05:39:36 +0000

與傳統的 Computer Vision (CV) 模型相比， Vision Language Models (VLMs) 實現了更廣泛的感知和更豐富的上下文理解，從而改變了視頻分析。然而，上下文長度有限和缺乏音頻轉錄等挑戰仍然存在，限制了 VLM 一次可以處理的視頻數量。為克服這一問題，適用于視頻搜索和摘要 (VSS) 的 NVIDIA AI Blueprint 將 VLM、LLM 和檢索增強生成 (RAG) 與高效的提取、檢索和存儲機制相集成，從而實現存儲和實時視頻分析。視覺 AI 智能體可應用于監控智能空間、倉庫自動化和 SOP 驗證等眾多用例。 NVIDIA 宣布推出適用于視頻搜索和摘要的 NVIDIA AI Blueprint 新版本并全面推出 (GA) 。此版本包含多項新功能，包括多實時流、突發模式提取、可自定義 CV 流程和音頻轉錄。

Source

]]>

概念驅動的 AI 教學助手引導學生獲得更深入的見解

Wed, 07 May 2025 06:26:11 +0000

在當今的教育環境中，生成式 AI 工具既帶來了福音，也帶來了挑戰。雖然這些工具提供了前所未有的信息獲取途徑，但也引發了對學術誠信的新擔憂。越來越多的學生依靠 AI 直接回答家庭作業問題，而這通常以犧牲培養批判性思維技能和掌握核心概念為代價。大學和教育工作者面臨著越來越多的兩難境地：如何利用 AI 的強大功能作為教學工具，同時確保它補充而不是縮短學習過程。關鍵在于開發引導學生進行理解的系統，而不是簡單地傳遞答案。除了學術誠信問題外，許多大學還在努力解決助教 (TA) 短缺問題。在克萊姆森大學和全國各地的機構中，計算機科學和其他 STEM 領域的注冊人數增長超過了助教支持的速度。在某些課程中，學生與助教的比率為 20：1。在中期和項目截止日期等繁忙時期，這種不平衡通常會導致學生無法及時獲得所需的幫助。為了應對這一挑戰，我們的 Clemson Capstone 團隊著手使用…

Source

]]>

借助 Rafay 為企業 AI 工作負載提供 NVIDIA 加速計算

Wed, 09 Apr 2025 06:11:58 +0000

生成式 AI 在全球的應用推動了全球對加速計算硬件的巨大需求。在企業中，這加快了加速私有云基礎設施的部署。在地區層面，對計算基礎設施的需求催生了一類新的云提供商，他們為 AI 工作負載提供加速計算 (GPU) 能力，也稱為 GPU 云提供商或 AI 云。其中包括可能符合 NVIDIA 云合作伙伴 (NCP) 要求的云提供商。這些云提供商提供 GPU 加速的硬件和專為其區域客戶群定制的更高級別的 AI 服務。對于企業私有云和云提供商來說，任務很明確：讓 AI 基礎設施更易于使用，同時提供精心制作的解決方案，以滿足其服務的企業和地區的特定需求。在本文中，我們將討論構建自助 GPU 云的關鍵技術要求和挑戰，以及 NVIDIA 合作伙伴 Rafay 的平臺即服務 (PaaS) 模型如何應對這些挑戰。

Source

]]>

工業設施數字孿生中的機器人仿真

Mon, 31 Mar 2025 08:20:44 +0000

工業企業正在采用物理 AI 和自主系統來實現運營轉型。這涉及在工廠和倉庫中部署異構機器人車隊，包括移動機器人、人形助手、智能攝像頭和 AI 智能體。為了充分利用這些支持物理 AI 的系統的全部潛力，公司依賴于其設施的數字孿生，即用于模擬和優化自主系統交互方式以及執行復雜任務的虛擬環境。這種 simulation-first 方法使企業能夠在實際部署之前驗證其機器人車隊是否能夠在動態環境中進行協調和適應，從而加速向真正自主的工業運營過渡。借助 Mega NVIDIA Omniverse Blueprint ，企業能夠加速物理 AI 在工廠、倉庫和工業設施中的開發和部署。該工作流使開發者能夠利用傳感器仿真和合成數據生成來模擬復雜的自主操作，并在實際部署之前驗證工業數字孿生中物理 AI 系統的性能。本文將介紹該藍圖的組件，

Source

]]>

部署 NVIDIA AI Blueprint 實現成本高效的大語言模型路由

Wed, 26 Mar 2025 05:59:02 +0000

自 2022 年 11 月 ChatGPT 發布以來，大語言模型 (LLMs) 的能力激增，可用模型數量呈指數級增長。隨著此次擴展，LLMs 在成本、性能和專業領域的差異很大。例如，小型通用模型可以高效處理文本摘要等簡單任務。相比之下，代碼生成等復雜操作可受益于具有高級推理能力和擴展測試時計算的大型模型。對于 AI 開發者和 MLOps 團隊而言，挑戰在于為每個提示選擇合適的模型 – 平衡準確性、性能和成本。一個一刀切的方法效率低下，導致不必要的支出或結果欠佳。為了解決這個問題，適用于 LLM 路由器的 NVIDIA AI Blueprint 為多 LLM 路由提供了一個經過成本優化的加速框架。它無縫集成了 NVIDIA 工具和工作流，可將提示動態路由到最合適的 LLM，為企業級 LLM 運營提供強大的基礎。 LLM 路由器的主要特性包括：

Source

]]>

借助 NVIDIA NIM 微服務，在 RTX AI PC 和工作站上開啟您的 AI 之旅

Tue, 25 Mar 2025 09:11:53 +0000

隨著數字人、智能體、播客、圖像和視頻生成等新興用例的出現，生成式 AI 正在改變我們與 PC 的交互方式。這種范式轉變要求我們以新的方式與生成式 AI 模型進行交互和編程。然而，對于 PC 開發者和 AI 愛好者而言，入門可能會非常困難。今天，NVIDIA 在 NVIDIA RTX AI PC 上發布了一套 NVIDIA NIM 微服務，以在 PC 上快速啟動 AI 開發和實驗。NIM 微服務目前處于 beta 階段，提供涵蓋語言、語音、動畫、內容生成和視覺功能的 AI 基礎模型。這些易于使用的行業標準 API 可幫助您在 NVIDIA RTX AI PC 上使用 NVIDIA NIM，開啟從實驗到構建的 AI 之旅。它們易于下載和運行，涵蓋 PC 開發的主流模式，并與主流生態系統應用程序和工具兼容。將 AI 引入 PC 會帶來獨特的挑戰。

Source

]]>

利用 Oracles 和實驗反饋指導生成式分子設計

Wed, 19 Mar 2025 08:56:53 +0000

AI 生成化學有可能徹底改變科學家在藥物研發、健康以及材料科學和工程領域的工作方式。研究人員無需借助“化學直覺”手動設計分子或篩選數百萬種現有化學物質，而是可以訓練神經網絡來提出適合所需特性的新型分子結構。這種能力開辟了廣闊的化學空間，這是以前無法系統探索的。雖然一些早期成功表明，生成式 AI 有望通過提出化學家可能沒有考慮過的創造性解決方案來加速創新，但這些成功只是一個開始。生成式 AI 還不是分子設計的靈丹妙藥，將 AI 建議的分子轉化為現實世界通常比一些標題所顯示的困難得多。虛擬設計與現實世界影響之間的差距是當今 AI 驅動的分子設計面臨的核心挑戰。計算生成式化學模型需要實驗反饋和分子模擬來確認其設計的分子是否穩定、可合成且具有功能性。與自駕駛汽車一樣，AI 必須經過真實駕駛數據或高保真模擬的訓練和驗證，才能在不可預測的道路上行駛。

Source

]]>

NVIDIA NeMo 檢索器將準確的多模態 PDF 數據提取速度提高 15 倍

Tue, 18 Mar 2025 04:11:37 +0000

企業生成和存儲的多模態數據比以往任何時候都多，但傳統的檢索系統在很大程度上仍然以文本為重點。雖然他們可以從書面內容中獲得見解，但不會提取嵌入表格、圖表和信息圖（通常是文檔中信息最密集的元素）的關鍵信息。如果沒有多模態檢索系統，檢索增強型生成（RAG）用戶可能會丟失隱藏在這些復雜數據格式中的關鍵見解，從而在企業知識檢索中造成重大盲點。了解適用于 RAG 的 NVIDIA AI Blueprint 。在本文中，我們將探索適用于 RAG 的 AI Blueprint 的最新進展，并深入探討背后的核心技術 – NVIDIA NeMo Retriever 。探索新的基準測試，了解 NVIDIA 合作伙伴如何使用此藍圖高效地提取、索引和查詢多模態數據。適用于 RAG 的 AI Blueprint 是一個 GPU 加速的參考示例，

Source

]]>

借助 NVIDIA DGX 云無服務器推理在云環境中無縫擴展人工智能

Tue, 18 Mar 2025 02:07:41 +0000

NVIDIA DGX Cloud Serverless Inference 是一種自動擴展 AI 推理解決方案，可實現快速可靠的應用部署。 DGX Cloud Serverless Inference 由 NVIDIA Cloud Functions (NVCF) 提供支持，可在多云和本地環境中提取多集群基礎設施設置，以處理 GPU 加速的工作負載。無論是管理 AI 工作負載、高性能計算 (HPC) 、AI 模擬，還是容器化應用程序，該平臺都能讓您在抽象底層基礎設施的同時進行全球擴展。一次部署，隨處擴展。獨立軟件供應商 (ISV) 在部署和擴展 AI 應用時經常面臨挑戰。這些應用程序需要在全球范圍內或更接近客戶基礎設施所在的位置進行部署。這可能需要在多個云、數據中心和地理區域進行部署，從而導致復雜的基礎設施運營。Serverless AI 推理通過在云、

Source

]]>

使用 NVIDIA AI Blueprint 構建實時多模態 XR 應用以進行視頻搜索和摘要

Tue, 11 Mar 2025 06:43:16 +0000

隨著生成式 AI 和視覺基礎模型的最新進展，VLM 呈現了新一波視覺計算浪潮，其中模型能夠實現高度復雜的感知和深度上下文理解。這些智能解決方案為增強 XR 設置中的語義理解提供了一種很有前景的方法。通過集成 VLM，開發者可以顯著改進 XR 應用解釋用戶操作以及與用戶操作交互的方式，使其響應速度更快、更直觀。本文將向您介紹如何利用 NVIDIA AI Blueprint 進行視頻搜索和摘要，以及如何增強 Blueprint 以支持 XR 環境中的音頻。我們介紹了實時語音識別和沉浸式交互的分步過程——從設置環境到無縫集成。借助對話式 AI 功能增強 XR 應用，為用戶帶來更加身臨其境的體驗。通過創建在 XR 環境中提供 Q&A 功能的生成式 AI 智能體，用戶可以更自然地進行交互并獲得即時幫助。多模態 AI 智能體處理并合成多種輸入模式，例如視覺數據 (例如 XR…

Source

]]>

使用 DeepSeek-R1 NIM 構建具有專家推理功能的 AI 智能體

Fri, 28 Feb 2025 06:27:48 +0000

AI 智能體正在通過實現流程自動化、優化決策制定和簡化操作來改變業務運營。其有效性取決于專家推理，從而實現更明智的規劃和高效執行。代理式 AI 應用可以從 DeepSeek-R1 等模型的功能中受益。DeepSeek-R1 專為解決需要高級 AI 推理的問題而構建，是一個包含 671 億個參數的開放式專家混合模型 (MoE)。經過強化學習 (RL) 技術的訓練，該模型能夠激勵準確、結構化的推理鏈，在邏輯推理、多步驟問題解決和結構化分析方面表現出色。 DeepSeek-R1 通過 chain-of-thought (CoT) 推理將復雜問題分解為多個步驟，使其能夠更準確、更深入地處理復雜問題。為此，DeepSeek-R1 使用 test-time scaling，這是一種新的 scaling law，通過在推理過程中分配額外的計算資源來增強模型的功能和演能力。但是，

Source

]]>

借助適用于 LLM 的 NVIDIA NIM 微服務加速科學文獻審查

Wed, 26 Feb 2025 06:44:27 +0000

精心設計的系統審查通常是研究人員探索科學領域的第一步。對于剛剛接觸該領域的科學家，它提供了該領域的結構化概述。對于專家而言，它可以細化他們的理解并激發新的想法。在 2024 年， Web of Science 數據庫收錄了 218,650 篇評測文章，凸顯了這些資源在研究中的重要性。完成系統審查可顯著增強研究人員的知識庫及其學術影響。然而，傳統的評論文章需要收集、閱讀和總結有關特定主題的大量學術文章。由于這項人工練習非常耗時，處理過的文獻的范圍通常局限于幾十篇或幾百篇文章。跨學科內容 (通常超出研究人員的專業領域) 又增加了一層復雜性。這些挑戰使得創建全面、可靠且有影響力的系統審查變得越來越困難。大語言模型 (LLMs) 的出現提供了一種突破性的解決方案，能夠從大量文獻中快速提取和合成信息。參加 Generative AI Codefest Australia…

Source

]]>

代理自主級別與安全性

Tue, 25 Feb 2025 07:08:04 +0000

智能體工作流是 AI 賦能工具的下一次演進。它們使開發者能夠將多個 AI 模型關聯在一起以執行復雜的活動，使 AI 模型能夠使用工具來訪問其他數據或自動執行用戶操作，并使 AI 模型能夠自主運行，以盡可能減少人類參與或交互的方式分析和執行復雜的任務。由于其強大的功能，代理工作流也存在風險因素。代理系統的核心最常見的模型仍然是各種 LLM，如果可以將不受信任的數據引入系統，這些模型仍然容易受到 prompt injection 的影響。為幫助評估和緩解這些漏洞，NVIDIA 提供了一個 Agentic Autonomy 框架，我們將其用于以下用途：在實踐中，開發 AI 賦能的應用需要兩個關鍵組件：當系統的 AI 組件是 LLM 時，這通常被稱為直接提示注入 (對手和用戶是同一個人) 或間接提示注入 (對手和用戶可以是不同的人)。然而，

Source

]]>