AI 平臺/部署 – NVIDIA 技術博客

AI 平臺/部署 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Wed, 14 May 2025 09:02:48 +0000 zh-CN hourly 1 196178272 光輪智能利用 NVIDIA GR00T N1 人形機器人模型落地汽車工廠生產應用 http://www.open-lab.net/zh-cn/blog/lightwheel-nvidia-gr00t-n1/ Wed, 14 May 2025 09:02:13 +0000 http://www.open-lab.net/zh-cn/blog/?p=13860 Continued]]> 光輪智能成功將 NVIDIA GR00T N1 人形機器人基礎模型部署至汽車制造生產線，這一成果標志著具身智能在工業自動化領域的重大突破以及應用潛力。此次部署，是 GR00T N1 人形機器人基礎模型在行業場景的首次應用實例。光輪智能合成數據技術在應用中發揮了關鍵作用，有效解決了具身智能訓練中的數據稀缺挑戰。兩者合作為具身智能進入智能制造樹立了新范式。作為全球首個通用人形機器人開源基礎模型，GR00T N1 是此次合作的技術基礎。該模型能夠流暢處理文本指令與圖像等多模態輸入，輸出機器人動作指令，展現出跨實體、跨任務泛化能力。 GR00T N1 的獨特優勢源于其創新的雙系統架構：視覺-語言模型系統負責環境理解和動作規劃，而 Diffusion Transformer 系統則將這些規劃無縫轉化為具體的機器人動作指令。這種受人類認知原理啟發的架構設計，

]]>

13860

選擇您的第一個本地人工智能項目 http://www.open-lab.net/zh-cn/blog/choosing-your-first-local-ai-project/ Tue, 29 Apr 2025 08:44:46 +0000 http://www.open-lab.net/zh-cn/blog/?p=13669 Continued]]> AI 正迅速超越集中式云和數據中心，成為可直接部署在專業工作站上的強大工具。借助先進的硬件和優化的軟件，您可以在桌面上或隨時隨地構建、運行和試驗復雜的 AI 模型。歡迎來到本地 AI 開發的世界！在工作站上本地運行和開發 AI 為開發者和組織帶來了顯著優勢：增強了數據隱私和安全性，敏感數據保留在內部，與持續云使用相比節省了成本，為應用程序提供了離線操作功能，以及無與倫比的動手開發和迭代環境。 NVIDIA RTX PRO Blackwell 系列等高性能硬件和為利用其功能而構建的優化軟件生態系統推動了向強大、可訪問的本地 AI 的轉變。本博文將使用專為專業工作流設計的 NVIDIA 生態系統，指導您選擇可管理的首個本地 AI 項目。專業 AI 加速的核心是 NVIDIA RTX 專業 GPU ，每個 GPU 具有高達 96 GB VRAM、企業級驅動、

Source

]]>

13669

使用 NVIDIA NIM 對游戲進行代理式 LLM 和 VLM 推理基準測試 http://www.open-lab.net/zh-cn/blog/benchmarking-agentic-llm-and-vlm-reasoning-for-gaming-with-nvidia-nim/ Thu, 24 Apr 2025 04:08:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=13726 Continued]]> 這是 LLM 基準測試系列的第一篇文章，介紹了在使用 NVIDIA NIM 部署 Meta Llama 3 模型時，如何使用 GenAI-Perf 進行基準測試。來自倫敦大學學院 (UCL) 決策、行動和推理知識 (DARK) 實驗室的研究人員在其全新的基于游戲的基準測試套件 Benchmarking Agentic LLM 和 VLM Reasoning On Games (BALROG) 中利用了 NVIDIA NIM 微服務。BALROG 經過專門設計，可使用各種游戲環境評估模型在具有挑戰性的長距交互式任務中的代理能力。來自 DARK Lab 的團隊利用 NVIDIA NIM 簡化了詳盡的基準測試流程。在 DeepSeek-R1 NIM 發布時 ( 2025 年 2 月底) ，他們能夠使用 DeepSeek-R1，這是一個包含 671 億個參數的大型模型。

]]>

13726

使用 NVIDIA TensorRT 優化基于 Transformer 的擴散模型以生成視頻 http://www.open-lab.net/zh-cn/blog/optimizing-transformer-based-diffusion-models-for-video-generation-with-nvidia-tensorrt/ Mon, 21 Apr 2025 06:03:20 +0000 http://www.open-lab.net/zh-cn/blog/?p=13623 Continued]]> 先進的圖像擴散模型需要數十秒才能處理單張圖像。這使得視頻擴散更具挑戰性，需要大量計算資源和高昂成本。通過在搭載 NVIDIA TensorRT 的 NVIDIA Hopper GPU 上利用最新的 FP8 量化功能，可以顯著降低推理成本，并以更少的 GPU 為更多用戶提供服務。雖然量化擴散器的部署可能比較復雜，但 TensorRT 背后的完整生態系統可以幫助克服這些挑戰。借助此方法，Adobe 將延遲降低了 60%，TCO 降低了近 40%，從而加快了推理速度并提高了響應速度。使用在由 Hopper GPU 加速的 Amazon Web Services (AWS) EC2 P5/P5en 上運行的 TensorRT 進行的優化部署，提高了可擴展性，以更少的 GPU 為更多用戶提供服務。本文將探討為增強 Adobe Firefly 視頻生成模型的性能而實施的策略和優化，

]]>

13623

在 NVIDIA OptiX 中使用協作向量實現神經渲染 http://www.open-lab.net/zh-cn/blog/neural-rendering-in-nvidia-optix-using-cooperative-vectors/ Thu, 17 Apr 2025 06:19:54 +0000 http://www.open-lab.net/zh-cn/blog/?p=13634 Continued]]> NVIDIA OptiX 9.0 的發布引入了一項名為 Cooperative Vectors 的新功能，可將 AI 工作流作為光線追蹤內核的一部分。該功能利用 NVIDIA RTX Tensor Cores 在著色過程中進行硬件加速的矩陣運算和神經網絡計算。這解鎖了 NVIDIA RTX Neural Shaders 和 NVIDIA RTX Neural Texture Compression (NTC) 等 AI 渲染技術，并在實時渲染中進一步向電影級逼真材質邁進。協作向量 API 已在 OptiX 、 DirectX 、 NVAPI 、 Slang 和 Vulkan 中推出。本文將探討適用于所有 API 的協作向量背后的概念，并通過使用 OptiX API 的示例進行工作。多層感知器 (MLP) 是許多神經網絡算法的基本構建模塊。研究表明，

]]>

13634

使用 NVIDIA NIM 構建 AI 驅動的自動引用驗證工具 http://www.open-lab.net/zh-cn/blog/developing-an-ai-powered-tool-for-automatic-citation-validation-using-nvidia-nim/ Wed, 16 Apr 2025 05:18:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=13569 Continued]]> 引文的準確性對于保持學術和 AI 生成內容的完整性至關重要。當引用不準確或錯誤時，它們可能會誤導讀者并散布虛假信息。作為一支由悉尼大學機器學習和 AI 研究人員組成的團隊，我們正在開發一種 AI-powered 工具，能夠高效地交叉檢查和分析語義引用的準確性。提及事實聲明可以幫助讀者相信其有效性，增強作者的可信度，并通過顯示信息來源來提高透明度。然而，確保語義引用的準確性（即確認聲明不僅匹配，而且忠實地代表引用來源的結論，而不會失真或誤解）非常耗時，而且通常需要深入的主題理解。我們親身經歷了不準確的引用所帶來的挫折和挑戰，這促使我們開發了一個強大且可擴展的解決方案 — Semantic Citation Validation 工具。該解決方案簡化了引文驗證過程，并增強了各個領域的研究完整性。隨著大語言模型 (LLM) 的日益普及，對引文驗證的需求變得更加迫切。

]]>

13569

NVIDIA Llama Nemotron 超開放模型實現突破性的推理準確性 http://www.open-lab.net/zh-cn/blog/nvidia-llama-nemotron-ultra-open-model-delivers-groundbreaking-reasoning-accuracy/ Tue, 15 Apr 2025 05:31:17 +0000 http://www.open-lab.net/zh-cn/blog/?p=13575 Continued]]> AI 不再只是生成文本或圖像，而是要針對商業、金融、客戶和醫療健康服務中的現實應用進行深度推理、詳細解決問題并實現強大的適應性。 NVIDIA 最新推出的 Llama Nemotron Ultra 推理模型在智能和編碼基準測試中提供了領先的開源模型準確性，同時提高了計算效率。您可以在 Hugging Face 上找到模型、權重和訓練數據，以便將 AI 應用于從研究助理、編碼助手到自動化工作流的各種工作中。 Llama Nemotron Ultra 正在重新定義 AI 在科學推理、編碼和數學基準測試中可以實現的目標。該模型針對復雜推理、人類匹配聊天、檢索增強生成 (RAG) 和工具使用進行了后訓練，專為滿足現實世界企業的需求 (從 copilot 和知識助手到自動化工作流程) 而構建，具有高影響力 AI 所需的深度和靈活性。 Llama Nemotron Ultra 基于…

]]>

13575

借助 Rafay 為企業 AI 工作負載提供 NVIDIA 加速計算 http://www.open-lab.net/zh-cn/blog/delivering-nvidia-accelerated-computing-for-enterprise-ai-workloads-with-rafay/ Wed, 09 Apr 2025 06:11:58 +0000 http://www.open-lab.net/zh-cn/blog/?p=13506 Continued]]> 生成式 AI 在全球的應用推動了全球對加速計算硬件的巨大需求。在企業中，這加快了加速私有云基礎設施的部署。在地區層面，對計算基礎設施的需求催生了一類新的云提供商，他們為 AI 工作負載提供加速計算 (GPU) 能力，也稱為 GPU 云提供商或 AI 云。其中包括可能符合 NVIDIA 云合作伙伴 (NCP) 要求的云提供商。這些云提供商提供 GPU 加速的硬件和專為其區域客戶群定制的更高級別的 AI 服務。對于企業私有云和云提供商來說，任務很明確：讓 AI 基礎設施更易于使用，同時提供精心制作的解決方案，以滿足其服務的企業和地區的特定需求。在本文中，我們將討論構建自助 GPU 云的關鍵技術要求和挑戰，以及 NVIDIA 合作伙伴 Rafay 的平臺即服務 (PaaS) 模型如何應對這些挑戰。

]]>

13506

NVIDIA 開源 Run:ai 調度程序以推動社區協作 http://www.open-lab.net/zh-cn/blog/nvidia-open-sources-runai-scheduler-to-foster-community-collaboration/ Tue, 01 Apr 2025 08:12:55 +0000 http://www.open-lab.net/zh-cn/blog/?p=13437 Continued]]> 今天，NVIDIA 宣布推出 KAI Scheduler 的開源版本，這是一種 Kubernetes-native GPU 調度解決方案，現已在 Apache 2.0 許可證下提供。KAI Scheduler 最初在 Run:ai 平臺中開發，現在可供社區使用，同時繼續作為 NVIDIA Run:ai 平臺的一部分打包和交付。該計劃強調了 NVIDIA 致力于推動開源和企業 AI 基礎設施的發展，打造積極協作的社區，鼓勵貢獻、反饋和創新。在本文中，我們概述了 KAI Scheduler 的技術細節，強調了其對 IT 和 ML 團隊的價值，并解釋了調度周期和操作。管理 GPU 和 CPU 上的 AI 工作負載帶來了傳統資源調度器通常無法解決的一系列挑戰。調度程序專為解決以下問題而開發： AI 工作負載可能會迅速變化。例如，

]]>

13437

Volcano 調度程序中防止 GPU 碎片的實用技巧 http://www.open-lab.net/zh-cn/blog/practical-tips-for-preventing-gpu-fragmentation-for-volcano-scheduler/ Mon, 31 Mar 2025 08:16:55 +0000 http://www.open-lab.net/zh-cn/blog/?p=13440 Continued]]> 在 NVIDIA，我們以精準和創新解決復雜的基礎設施挑戰為豪。當 Volcano 在其 NVIDIA DGX 云調配的 Kubernetes 集群中面臨 GPU 利用率不足時，我們介入提供了一個不僅達到而且超過預期的解決方案。通過將先進的調度技術與對分布式工作負載的深入理解相結合，我們實現了約 90% 的 GPU 占用率，遠高于 80% 的合同目標。下面詳細介紹了問題、我們的方法和結果。 DGX 云 Kubernetes 集群由數千個 GPU 組成，每個 GPU 均配備多個 NVIDIA L40S GPU。該集群支持多種工作負載：盡管有可靠的硬件，但該集群仍存在 GPU 碎片化問題，導致節點被部分占用，無法用于大型作業。這種效率低下的情況又因 Volcano 調度程序它使用了一個分組調度算法。如果不進行干預，我們可能會違反合同協議，維持至少 80%

]]>

13440

使用 PyG 和圖形數據庫通過 GraphRAG 提高問答準確性 http://www.open-lab.net/zh-cn/blog/boosting-qa-accuracy-with-graphrag-using-pyg-and-graph-databases/ Wed, 26 Mar 2025 06:05:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=13422 Continued]]> 大語言模型（LLMs）在處理特定領域的問題時往往難以保證準確性，尤其是那些需要多跳推理或訪問專有數據的問題。雖然檢索增強生成（RAG）可以提供幫助，但傳統的向量搜索方法通常并不完善。在本教程中，我們將向您展示如何將 GraphRAG 與經過微調的 GNN+LLM 模型結合使用，以實現比標準基準高 2 倍的準確性。這種方法對于涉及以下情況的場景特別有價值：這種基于圖形驅動的檢索增強生成 (GraphRAG) 的特定方法建立在 G-Retriever 架構之上。G-Retriever 將接地數據表示為知識圖，將基于圖的檢索與神經處理相結合：此過程適用于訓練數據三元組{(Qi, Ai, Gi)}：管道遵循以下步驟： PyG 為 G-Retriever 提供模塊化設置。

]]>

13422

借助 NVIDIA Mission Control 實現 AI 工廠自動化 http://www.open-lab.net/zh-cn/blog/automating-ai-factory-operations-with-nvidia-mission-control/ Tue, 25 Mar 2025 08:51:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=13363 Continued]]> DeepSeek-R1 等先進的 AI 模型證明，企業現在可以構建專用于自己的數據和專業知識的尖端 AI 模型。這些模型可以根據獨特的用例進行定制，以前所未有的方式應對各種挑戰。基于早期 AI 采用者的成功，許多組織正在將重點轉移到全面生產的 AI 工廠。然而，創建高效 AI 工廠的過程復雜且耗時，并且不同于構建特定于垂直行業的 AI 的目標。它涉及到樓宇自動化，用于調配和管理復雜的基礎設施，在最新平臺上維護具有專業技能的站點可靠性工程師（SRE）團隊，以及大規模開發流程以實現超大規模的效率。此外，開發者需要一種方法來利用 AI 基礎設施的強大功能，同時具備超大規模數據中心的敏捷性、效率和規模，同時避免成本、復雜性和專業知識等方面的負擔。本文將介紹 NVIDIA Mission Control (一個為使用 NVIDIA 參考架構構建的 AI…

]]>

13363

使用 NVIDIA Holoscan 3.0 中的動態流控制輕松構建邊緣 AI 應用 http://www.open-lab.net/zh-cn/blog/easily-build-edge-ai-apps-with-dynamic-flow-control-in-nvidia-holoscan-3-0/ Thu, 20 Mar 2025 08:20:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=13248 Continued]]> NVIDIA 在 GTC 2025 上宣布推出實時 AI 傳感器處理平臺 NVIDIA Holoscan 3.0 。這個最新版本提供動態流控制，使開發者能夠設計更強大、更可擴展和更高效的系統。隨著物理 AI 的快速發展，Holoscan 3.0 專為適應而構建，使其能夠比以往更輕松地應對當今動態環境的挑戰。無論您使用的是醫學成像、機器人還是工業傳感器，Holoscan 3.0 都可以更輕松地在邊緣高效處理 AI 工作負載。本文將介紹 Holoscan 3.0 版本中的更新和功能，包括： NVIDIA Holoscan 3.0 引入了 NVIDIA Holoscan SDK 的重大升級，具有動態流控制。借助此功能，您現在可以在運行時修改工作流中的 operator 連接，從而實現更靈活、更具適應性的工作流。與使用固定連接的傳統靜態管道不同，此功能支持動態路由、

]]>

13248

NVIDIA 展示用于游戲 AI 推理和簡化實操機會的 GeForce NOW http://www.open-lab.net/zh-cn/blog/nvidia-demonstrates-geforce-now-for-game-ai-inference-and-streamlined-hands-on-opportunities/ Thu, 20 Mar 2025 08:11:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=13242 Continued]]> NVIDIA 云游戲服務 GeForce NOW 為開發者和發行商提供新工具，讓更多游戲玩家暢玩他們的游戲，并提供只有通過云才能實現的新體驗。這些工具通過將 AI 推理任務卸載到云端來降低本地 GPU 需求，從而擴大覆蓋范圍并降低成本。在 2025 年游戲玩家開發者大會 (GDC) 此外，NVIDIA 還展示了混合 AI 游戲，其中包括本地渲染圖形和在云端處理的零開發者成本 AI 推理。這使得具有 AI 功能的游戲可供更多受眾使用。此外，NVIDIA 和 Ubisoft 最近合作開發了 “刺客信條：暗影 ( Assassin ‘ s Creed Shadows) ” 評測活動，在安全可控的環境中為媒體提供無縫且一致的游戲評測體驗。 GeForce NOW 可跨設備從云端的 GeForce RTX 級服務器進行串流，包括低功耗筆記本電腦、Valve 的 Steam Deck…

]]>

13242

MONAI 集成先進的代理式架構，建立多模態醫療 AI 生態系統 http://www.open-lab.net/zh-cn/blog/monai-integrates-advanced-agentic-architectures-to-establish-multimodal-medical-ai-ecosystem/ Wed, 19 Mar 2025 08:50:12 +0000 http://www.open-lab.net/zh-cn/blog/?p=13263 Continued]]> 醫療數據的數量和復雜性不斷增加，以及對早期疾病診斷和提高醫療效率的迫切需求，正在推動醫療 AI 取得前所未有的進步。該領域最具變革性的創新包括同時處理文本、圖像和視頻的多模態 AI 模型。與傳統的單模態系統相比，這些模型能夠更全面地理解患者數據。 MONAI 是發展最快的開源醫學影像框架，它正在不斷發展，以集成強大的多模態模型，從而徹底改變臨床工作流程和診斷精度。在過去五年中，MONAI 已成為領先的醫療 AI 平臺，也是影像 AI 研究的事實框架。它的下載量超過 4.5 萬次，出現在 3,000 多篇已發表的論文中。本文介紹了 MONAI 如何利用先進的代理式 AI (自主、工作流驅動的推理) ，將其從成像擴展到多模態生態系統。該生態系統集成了從 CT 和 MRI 到 EHR 和臨床文檔的各種醫療健康數據，以推動放射學、外科和病理學領域的研究開發和創新。

]]>

13263

人人超碰97caoporen国产