機器人 – NVIDIA 技術博客
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Wed, 14 May 2025 09:02:48 +0000
zh-CN
hourly
1
196178272 -
光輪智能利用 NVIDIA GR00T N1 人形機器人模型落地汽車工廠生產應用
Wed, 14 May 2025 09:02:13 +0000
http://www.open-lab.net/zh-cn/blog/?p=13860
Continued]]>
光輪智能成功將 NVIDIA GR00T N1 人形機器人基礎模型部署至汽車制造生產線，這一成果標志著具身智能在工業自動化領域的重大突破以及應用潛力。 此次部署，是 GR00T N1 人形機器人基礎模型在行業場景的首次應用實例。光輪智能合成數據技術在應用中發揮了關鍵作用，有效解決了具身智能訓練中的數據稀缺挑戰。兩者合作為具身智能進入智能制造樹立了新范式。 作為全球首個通用人形機器人開源基礎模型，GR00T N1 是此次合作的技術基礎。該模型能夠流暢處理文本指令與圖像等多模態輸入，輸出機器人動作指令，展現出跨實體、跨任務泛化能力。 GR00T N1 的獨特優勢源于其創新的雙系統架構：視覺-語言模型系統負責環境理解和動作規劃，而 Diffusion Transformer 系統則將這些規劃無縫轉化為具體的機器人動作指令。這種受人類認知原理啟發的架構設計，
Source
]]>
13860
-
R2D2：利用 NVIDIA 研究工作流程和模型提升靈巧機器人的適應性
Fri, 25 Apr 2025 09:04:34 +0000
http://www.open-lab.net/zh-cn/blog/?p=13681
Continued]]>
如今，Robotic arms 用于組裝、包裝、檢查等更多應用領域。但是，它們仍然經過預編程，可以執行特定的、通常是重復性的任務。為了滿足大多數環境中日益增長的適應性需求， perceptive arms 需要根據實時數據做出決策和調整行為。這提高了協作環境中任務的靈活性，并通過危險感知提高安全性。 本期 NVIDIA Robotics Research and Development Digest (R2 D2 ) 探討了 NVIDIA Research 的一些機器人靈活性、操作和抓取工作流以及 AI 模型 (如下所示) ，以及它們如何應對適應能力和數據稀缺等關鍵機器人挑戰： 靈巧的機器人能夠精準、高效地操控物體。機器人的靈活性涉及精細的運動控制、協調，以及通常在非結構化環境中處理各種任務的能力。機器人靈活性的關鍵方面包括抓握、操控、觸覺敏感度、
Source
]]>
13681
-
工業設施數字孿生中的機器人仿真
Mon, 31 Mar 2025 08:20:44 +0000
http://www.open-lab.net/zh-cn/blog/?p=13443
Continued]]>
工業企業正在采用 物理 AI 和自主系統來實現運營轉型。這涉及在工廠和倉庫中部署異構機器人車隊，包括移動機器人、 人形助手 、智能攝像頭和 AI 智能體。 為了充分利用這些支持物理 AI 的系統的全部潛力，公司依賴于其設施的 數字孿生 ，即用于模擬和優化自主系統交互方式以及執行復雜任務的虛擬環境。這種 simulation-first 方法使企業能夠在實際部署之前驗證其機器人車隊是否能夠在動態環境中進行協調和適應，從而加速向真正自主的工業運營過渡。 借助 Mega NVIDIA Omniverse Blueprint ，企業能夠加速物理 AI 在工廠、倉庫和工業設施中的開發和部署。 該工作流使開發者能夠利用 傳感器仿真 和 合成數據生成 來模擬復雜的自主操作，并在實際部署之前驗證 工業數字孿生 中物理 AI 系統的性能。 本文將介紹該藍圖的組件，
Source
]]>
13443
-
R2D2：利用 NVIDIA 研究中心的新型工作流和 AI 基礎模型，提升機器人的移動和全身控制能力
Thu, 27 Mar 2025 05:47:44 +0000
http://www.open-lab.net/zh-cn/blog/?p=13416
Continued]]>
歡迎閱讀首期“NVIDIA 機器人研究與開發摘要（R²D²）”。此技術博客系列將讓開發者和研究人員更深入地了解 NVIDIA 各個研究實驗室在物理 AI 和機器人領域的最新研究突破。 開發強大的機器人面臨著諸多重大挑戰，例如： 我們通過在自身平臺上經過驗證的先進研究來應對這些挑戰。我們的方法將前沿研究與工程工作流相結合，并在我們的 AI 和機器人平臺（包括 NVIDIA Omniverse、Cosmos、Isaac Sim 和 Isaac Lab）上進行測試。最終生成的模型、策略和數據集可作為研究人員和開發者社區的可定制參考，以適應特定的機器人開發需求。我們期待分享我們的研究成果，共同構建機器人技術的未來。 在本期 R²D² 中，您將了解以下機器人移動及全身控制的工作流及模型，以及它們如何應對機器人導航、移動和控制方面的關鍵挑戰：
Source
]]>
13416
-
使用 NVIDIA Holoscan 3.0 中的動態流控制輕松構建邊緣 AI 應用
Thu, 20 Mar 2025 08:20:15 +0000
http://www.open-lab.net/zh-cn/blog/?p=13248
Continued]]>
NVIDIA 在 GTC 2025 上宣布推出實時 AI 傳感器處理平臺 NVIDIA Holoscan 3.0 。這個最新版本提供動態流控制，使開發者能夠設計更強大、更可擴展和更高效的系統。隨著 物理 AI 的快速發展 ，Holoscan 3.0 專為適應而構建，使其能夠比以往更輕松地應對當今動態環境的挑戰。 無論您使用的是醫學成像、機器人還是工業傳感器，Holoscan 3.0 都可以更輕松地在邊緣高效處理 AI 工作負載。本文將介紹 Holoscan 3.0 版本中的更新和功能，包括： NVIDIA Holoscan 3.0 引入了 NVIDIA Holoscan SDK 的重大升級，具有動態流控制。借助此功能，您現在可以在運行時修改工作流中的 operator 連接，從而實現更靈活、更具適應性的工作流。與使用固定連接的傳統靜態管道不同，此功能支持動態路由、
Source
]]>
13248
-
人形機器人學習的合成運動生成管道構建
Tue, 18 Mar 2025 08:09:16 +0000
http://www.open-lab.net/zh-cn/blog/?p=12587
Continued]]>
通用人形機器人需要能夠快速適應現有的以人類為中心的城市和工業工作空間，處理繁瑣、重復或體力要求高的任務。這些移動機器人經過設計，能在以人類為中心的環境中有出色的表現，從工廠車間到醫療醫療機構，它們的價值日益凸顯。 模仿學習是機器人學習的一個子集，它能讓人形機器人通過觀察和模仿人類專家的示范來獲取新技能，這些演示可以來自遠程操作演示中的人類真實視頻，也可以來自仿真數據。模仿學習使用已標記的數據集，有利于在難以編程定義的不同環境中教授機器人復雜動作。 雖然錄制演示可能比指定獎勵策略更簡單，但創建完美的演示可能具有挑戰性，并且機器人可能難以應對一些未曾預見的情況。在真實世界中收集廣泛、高質量的數據集既繁瑣又耗時，而且成本往往高得令人卻步。但是，從物理精確的仿真環境中生成的合成數據，有助于加快數據收集過程。 用于合成運動生成的 NVIDIA Isaac GR00T…
Source
]]>
12587
-
構建人形機器人學習的合成運動生成流程
Tue, 18 Mar 2025 05:10:29 +0000
http://www.open-lab.net/zh-cn/blog/?p=13317
Continued]]>
通用人形機器人需要能夠快速適應現有的以人類為中心的城市和工業工作空間，處理繁瑣、重復或體力要求高的任務。這些移動機器人經過設計，能在以人類為中心的環境中有出色的表現，從工廠車間到醫療醫療機構，它們的價值日益凸顯。 模仿學習是機器人學習的一個子集，它能讓人形機器人通過觀察和模仿人類專家的示范來獲取新技能，這些演示可以來自遠程操作演示中的人類真實視頻，也可以來自仿真數據。模仿學習使用已標記的數據集，有利于在難以編程定義的不同環境中教授機器人復雜動作。 雖然錄制演示可能比指定獎勵策略更簡單，但創建完美的演示可能具有挑戰性，并且機器人可能難以應對一些未曾預見的情況。在真實世界中收集廣泛、高質量的數據集既繁瑣又耗時，而且成本往往高得令人卻步。但是，從物理精確的仿真環境中生成的合成數據，有助于加快數據收集過程。 用于合成運動生成的 NVIDIA Isaac GR00T…
Source
]]>
13317
-
加速通用人形機器人的開發：NVIDIA Isaac GR00T N1
Tue, 18 Mar 2025 04:57:31 +0000
http://www.open-lab.net/zh-cn/blog/?p=13314
Continued]]>
人形機器人需要能夠適應人類工作空間，處理重復性或高強度任務。然而，為真實世界的任務和不可預測的環境創建通用人形機器人是一項挑戰。通常來說，這些任務中的每一個都需要一個專用的 AI 模型。由于需要大量特定于任務的數據、高昂的計算成本，且模型的泛化能力有限，針對每一個新的任務和環境，從零開始訓練這些模型是一個非常繁瑣的過程。 NVIDIA Isaac GR00T 通過提供開源的 SimReady 數據、仿真框架（如 NVIDIA Isaac Sim 和 Isaac Lab）、合成數據藍圖和預訓練基礎模型，能夠幫助解決這些挑戰并加速通用人形機器人的開發。 NVIDIA Isaac GR00T N1 的特點和優勢 NVIDIA Isaac GR00T N1 是世界上首個用于通用人形機器人推理和技能的開源基礎模型。這個跨實體模型接受包括語言和圖像在內的多模態輸入，
Source
]]>
13314
-
使用 NVIDIA Cosmos 世界基礎模型擴展合成數據和物理 AI 推理
Tue, 18 Mar 2025 04:49:04 +0000
http://www.open-lab.net/zh-cn/blog/?p=13311
Continued]]>
人形機器人和自動駕駛汽車等新一代 AI 機器人依賴于高保真、物理感知的訓練數據 。如果沒有多樣化且具有代表性的數據集，這些系統將無法獲得適當的訓練，并且由于泛化性差、對現實世界變化的影響有限以及邊緣案例中的行為不可預測，因此會面臨測試風險。收集大量真實數據集進行訓練成本高昂、耗時費力，而且往往受限于各種可能性。 NVIDIA Cosmos 通過加速 世界基礎模型 (WFM) 開發來應對這一挑戰。Cosmos WFM 是其平臺的核心，可加快合成數據的生成 ，并作為后訓練的基礎，以開發下游領域或特定任務的 物理 AI 模型 來解決這些挑戰。 本文將探討最新的 Cosmos WFM、其推進物理 AI 的關鍵功能，以及如何使用它們。 Cosmos Transfer WFM 根據結構化輸入生成高保真世界場景，確保精確的空間對齊和場景構成。 通過采用 ControlNet 架構，
Source
]]>
13311
-
NVIDIA 推出用于機器人仿真的開源物理引擎 Newton
Tue, 18 Mar 2025 04:36:14 +0000
http://www.open-lab.net/zh-cn/blog/?p=13308
Continued]]>
物理 AI 模型使機器人能夠自主感知、解釋、推理現實世界并與之交互。加速計算和仿真是開發新一代機器人的關鍵。 物理學在機器人仿真中發揮著至關重要的作用，為在真實環境中準確虛擬呈現機器人行為和交互奠定了基礎。借助這些仿真器，研究人員和工程師可以安全、加速且經濟高效地訓練、開發、測試和驗證機器人控制算法和原型設計。 機器人仿真建立在基本的物理定律之上，包括質量和動量守恒、剛體和軟體動力學、接觸和摩擦以及執行器建模。這些原則用于預測機器人在各種場景和環境中的行為方式，例如在使用 GPU、DPU 或其他硬件加速器時的響應。 然而，仿真往往無法完全匹配現實，這一問題被稱為“仿真與現實（sim-to-real）的差距”。機器人開發者需要一個統一、可擴展且可定制的解決方案，既能模擬現實世界的物理特性，又能處理復雜行為（包括與自定義求解器的交互），并支持高可靠性等功能。
Source
]]>
13308
-
使用 OpenUSD 實現模塊化和可擴展的機器人仿真和開發
Tue, 18 Mar 2025 04:25:42 +0000
http://www.open-lab.net/zh-cn/blog/?p=13305
Continued]]>
在 物理 AI 飛速發展的推動下 ，機器人領域正在經歷重大變革。這一演變加快了新機器人解決方案的上市時間，增強了人們對其安全能力的信心，并有助于 為工廠和倉庫中的物理 AI 提供動力支持 。 在 GTC 上宣布推出的 Newton 是一款開源、可擴展的物理引擎，由 NVIDIA、Google DeepMind 和 Disney Research 共同開發，旨在推動機器人學習和開發。 NVIDIA Cosmos 作為基于開放模型許可的世界基礎模型 (WFM) 平臺推出，旨在加速自動駕駛汽車和機器人等自主機器的物理 AI 開發。 最新發布的 NVIDIA Omniverse Kit SDK 107 是機器人應用的另一個重要里程碑。它升級到 OpenUSD 版本 24.05，同時更新了 Python、C++和 Linux ABI。NVIDIA Isaac Sim 5.0…
Source
]]>
13305
-
隆重推出 NVIDIA Isaac 醫療健康版：一款 AI 驅動的醫療機器人開發平臺
Tue, 18 Mar 2025 02:46:10 +0000
http://www.open-lab.net/zh-cn/blog/?p=13278
Continued]]>
醫療科技的未來是機器人，醫院將實現完全自動化，AI 驅動的手術系統、機器人助手和自主患者護理將改變我們所知的醫療保健行業。 構建 AI 驅動的機器人系統帶來了一些關鍵挑戰。將數據收集與專家見解相集成就是其中之一。為逼真的解剖結構、傳感器和機器人創建詳細的生物力學模擬是另一回事。這些仿真對于生成合成數據和訓練機器人至關重要。確保從虛擬部署無縫過渡到現實世界部署至關重要，同時在操作期間管理具有超低延遲的高帶寬、多模態傳感器 AI 也至關重要。 這些限制凸顯了對整體框架的需求，包括用于訓練高級模型的 AI 計算、用于在高保真虛擬環境中開發和驗證機器人行為的模擬計算，以及用于在臨床環境中實時執行的運行時計算。 適用于醫療健康領域的 NVIDIA Isaac 是一個 AI 醫療健康機器人開發者框架，可助力醫療健康機器人開發者解決這些挑戰。
Source
]]>
13278
-
輕量級、多模態、多語種 Gemma 3 模型實現性能優化
Wed, 12 Mar 2025 06:34:32 +0000
http://www.open-lab.net/zh-cn/blog/?p=13351
Continued]]>
使用基礎模型構建 AI 系統需要在內存、延遲、存儲、計算等資源之間實現微妙的平衡。在將生成式 AI 功能引入快速發展的 AI 應用生態系統時，管理成本和用戶體驗的開發者無法做到一刀切。 您需要高質量、可定制的模型選項，以便支持在數據中心、邊緣計算和設備端用例等不同計算環境中托管和部署的大規模服務，例如使用 GPU、DPU 和 Jetson 等硬件加速。 Google DeepMind 剛剛宣布推出 Gemma 3，這是一系列新的多模態和多語言開放模型。Gemma 3 由一個 1B 純文本小語言模型 (SLM) 和三個大小為 4B、12B 和 27B 的圖像文本模型組成。您可以使用 Hugging Face 中的模型，并在 NVIDIA API Catalog 中演示 1B 模型。 Gemma 3 1B 模型經過優化，可在需要低內存占用的設備應用程序或環境中高效運行，
Source
]]>
13351
-
圖像和視頻理解的視覺語言模型提示工程實踐指南
Wed, 26 Feb 2025 06:49:25 +0000
http://www.open-lab.net/zh-cn/blog/?p=13030
Continued]]>
視覺語言模型 (VLMs) 正在以極快的速度發展。2020 年，首批 VLMs 通過使用視覺編碼器將視覺理解引入大語言模型 (LLMs) ，徹底改變了生成式 AI 格局。這些初始 VLMs 能力有限，只能理解文本和單張圖像輸入。 幾年后，VLM 現在能夠理解多圖像和視頻輸入，以執行高級視覺語言任務，例如視覺問答 (VQA)、字幕、搜索和摘要。 通過調整提示和模型權重，可以提高特定用例的 VLM 準確性。可以使用 PEFT 等高效技術微調模型權重，但仍需要足夠的數據和計算。 但是， prompt engineering 和上下文學習也可用于提高輸出質量，并且與在運行時調整模型的文本輸入一樣簡單。 本文將為您介紹 VLM 的演變，以及如何有效地提示 VLM 以用于了解單張圖像、多張圖像和視頻的用例。如需了解有關 VLM 和視覺 AI 智能體的更多信息，
Source
]]>
13030
-
NVIDIA GTC 2025 上的人工智能促進氣候、能源和生態系統復原力
Thu, 20 Feb 2025 04:09:19 +0000
http://www.open-lab.net/zh-cn/blog/?p=12959
Continued]]>
從減緩氣候變化到改進災害響應和環境監測，AI 正在重塑我們應對重大全球挑戰的方式。快速、高分辨率的氣候預報、實時監控和數字孿生技術的進步為科學家、政策制定者和行業領導者提供了數據驅動的工具，幫助他們了解、規劃和應對一個變暖的星球。 在 3 月 17 日至 21 日舉行的 NVIDIA GTC 2025 大會上，思想領袖、科學家、開發者和創新者將重點介紹 AI 如何幫助塑造更具可持續性和韌性的未來。以下會議展示了 AI 在氣候預測、災難緩解和保護工作中發揮的作用，幫助社區適應日益不可預測的世界。 隨著全球變暖加劇，極端天氣事件變得更加嚴重和頻繁，社區需要更快、更精確的自然災害預測和響應策略。AI 正在改進洪水、野火和颶風建模，從而實現更早的警報和更有效的緩解措施。借助大規模天氣模擬、衛星數據分析和實時預測性見解，AI 正在幫助應急響應人員和決策者盡可能減少損失、提高抗災能力，
Source
]]>
12959
人人超碰97caoporen国产