在機電一體化和機器人 AI 基礎模型的進步的推動下，通用型機器人技術已經問世。但關鍵的瓶頸依然存在：機器人需要大量的訓練數據來訓練裝配和檢查等技能，而且手動演示不可擴展。NVIDIA Isaac GR00T-Dreams 藍圖基于 NVIDIA Cosmos 構建，只需一個圖像和語言提示即可生成大量合成軌跡數據，從而應對這一挑戰。
借助 Cosmos 世界基礎模型 (WFMs) 和生成式 AI，開發者可以快速為 NVIDIA Isaac GR00T N1.5 等模型創建訓練數據。
本文將介紹 Isaac GR00T-Dreams 藍圖，詳細介紹其高級功能及其在開發 Isaac GR00T N1.5 基礎模型中發揮的作用。
NVIDIA Isaac GR00T-Dreams 藍圖概述
Isaac GR00T-Dreams 藍圖是一個用于生成大量合成軌跡數據的參考工作流。這些數據用于教人形機器人在新環境中執行新動作。
該藍圖使機器人能夠泛化各種行為，并使用最少的人類演示數據來適應新環境。因此，一個小型人類演示團隊可以創建與數千人生成相同數量的訓練數據。
GR00T-Dreams 藍圖是對 Isaac GR00T-Mimic 藍圖的補充。通過使用 NVIDIA Omniverse 和 Cosmos Transfer-1 WFM 擴展已知任務的現有演示數據，GR00T-Mimic 可幫助機器人培養深度熟練程度，并成為這些特定技能的專家。GR00T-Dreams 采用 Cosmos Predict-2 和 Cosmos Reason 為新任務和環境生成全新數據，致力于使機器人成為具有廣泛適應性的通用機器人。
GR00T-Dreams 藍圖管道
該藍圖提供強大的“real-to-real”數據工作流，用于訓練通用機器人，并使用真實機器人數據創建合成軌跡，然后用于訓練物理機器人。這種方法顯著減少了對大規模人類演示的需求。該過程包括以下概述的步驟。
第 1 步：通過人類演示進行后訓練
首先，開發者為在單一環境中執行單項任務 (例如拾放) 的人形機器人收集一組有限的人工遠程操作軌跡。然后，使用這些真實數據對 Cosmos Predict-2 WFM 進行后訓練。此后的訓練步驟可讓模型學習該機器人特有的特定移動能力和功能約束。
第 2 步：生成“夢境”
接下來，開發者為經過微調的 Cosmos 模型提供初始圖像和基于文本的新指令，以便生成的機器人執行操作。這促使生成式模型創建大量多樣化和新穎的任務場景或未來世界狀態 (也稱為夢境) ，例如打開、關閉、排列物體、清理和排序。這些場景以 2D 視頻的形式創建。
第 3 步：推理并篩選
在生成大量夢境后，Cosmos Reason 模型可用于評估每個夢境的質量和成功情況。它可以過濾掉描繪失敗或有缺陷的任務嘗試的“壞”夢，確保只為下一階段選擇最高質量和最相關的場景。
第 4 步：提取神經軌跡
選中的夢最初只是 2D 視頻中的像素，然后使用 Inverse Dynamics Model (IDM) (一種用于動作標記的生成式 AI 模型) 進行處理，以生成 3D 動作軌跡。該模型的工作原理是將 2D 視頻中的兩個圖像幀 (“之前”和“之后”) 作為輸入，并預測它們之間發生的動作片段。
這一關鍵步驟將夢以求的視頻中的視覺信息轉換為可操作的數據，供機器人學習。這些 2D 視頻現已添加 3D 動作數據，被稱為 neural trajectories。
第 5 步：訓練視覺運動策略
最后，這些神經軌跡可用作大規模合成數據集，用于訓練視覺運動策略，方法是與真實數據一起進行協同訓練以提高性能，或者僅通過對這些數據進行訓練來實現對新行為和不可見環境的泛化。
用于機器學習的高級功能
GR00T-Dreams 藍圖為機器人學習提供了先進的功能，包括新行為、新環境等。
新行為：機器人通過語言指令學習新動作，即使僅使用來自單個任務 (例如 pick-and-place) 的訓練數據也是如此。
新環境：即使世界模型僅在一個實驗室環境中進行訓練，機器人也可以泛化到完全不可見的環境。
多種機器人類型：適用于從人形機器人到機械手 (如 Franka 和 SO-100) 的各種機器人具身，并支持多個攝像頭視圖。
針對復雜任務的增強學習：針對具有挑戰性、接觸性豐富的任務增強訓練數據，例如操作可變形物體 (folding) 或使用工具 (hammering) ，在初始真實幀中發揮逼真工作流程的作用。
使用 GR00T-Dreams 對 GR00T N1.5 進行后訓練
視覺語言動作 (VLA) 模型可以使用 GR00T-Dreams 進行后訓練，以在不可見的環境中實現新的行為和操作。
NVIDIA Research 使用 GR00T-Dreams 藍圖生成合成訓練數據，在短短 36 小時內開發出 GR00T N1.5。如果使用人工收集人類數據，這一過程需要近三個月的時間。
GR00T N1.5 是 GR00T N1 的首次更新，GR00T N1 是全球首個用于通用人形機器人推理和技能的開放基礎模型。這種跨具身模型接受包括語言和圖像在內的多模態輸入，以在不同環境中執行操作任務。
GR00T N1.5 的新增功能：
- 提高了理解語言指令的準確性
- Isaac GR00T-Dreams 藍圖增強了對新對象和環境的泛化。
- 改進了視覺語言基礎，使用 Eagle 2.5 實現更好的空間理解和開放世界視覺基礎
- 提高物料搬運和制造任務的成功率
開放的 NVIDIA 物理 AI 數據集
NVIDIA 擴展了開放式 NVIDIA Physical AI 數據集集合，這是 Hugging Face 上下載量最多的機器人數據集。該數據集最初于 2025 年 3 月推出，現在包含數千條新的機器人軌跡，其中包含來自 Unitree G1 機器人的首批真實訓練數據和 24,000 條模擬遠程操作軌跡。
該集合還包含用于各種操作任務的合成模擬數據，有助于開發 GR00T N1.5。
GR00T N 模型在生態系統中的應用
GR00T N 模型的早期采用者包括 AeiRobot、Foxlink、Lightwheel 和 NEURA Robotics。
AeiRobot 使用它們使其工業機器人能夠理解復雜拾放任務的自然語言。Foxlink 正在利用這些模型來提高其工業機器人手臂的靈活性和效率。Lightwheel 正在利用它們來驗證合成數據，以便在工廠中更快地部署人形機器人。NEURA Robotics 正在評估這些模型，以加速其家庭自動化系統的開發。
開始加速機器學習
NVIDIA Isaac GR00T-Dreams 藍圖是用于生成大量合成軌跡數據的參考工作流。這些數據用于教人形機器人在新環境中執行新動作。該藍圖使機器人能夠泛化各種行為，并使用最少的人類演示數據來適應新環境。
要開始使用 GR00T-Dreams：
- 查看開源端到端pipeline。
- 探索經過后訓練的 Cosmos Predict-2 模型，以生成夢境。
- 有關 DreamGen (為 GR00T-Dreams 提供支持的研究) 的更多信息，請參閱《DREAMGEN：Unlocking Generalization in Robot Learning through Neural Trajectories》論文。
要開始使用 GR00T N1.5，請執行以下操作：
訂閱我們的時事通訊并在 LinkedIn、Instagram、X 和 Facebook 上關注 NVIDIA Robotics，隨時了解最新動態。探索 NVIDIA 文檔和 YouTube 頻道，并加入 NVIDIA Developer Robotics 論壇。要開啟您的機器人開發之旅，請立即注冊我們的免費 NVIDIA Robotics Fundamentals 課程。
?
