通用人形機器人需要能夠快速適應現有的以人類為中心的城市和工業工作空間，處理繁瑣、重復或體力要求高的任務。這些移動機器人經過設計，能在以人類為中心的環境中有出色的表現，從工廠車間到醫療醫療機構，它們的價值日益凸顯。
模仿學習是機器人學習的一個子集，它能讓人形機器人通過觀察和模仿人類專家的示范來獲取新技能，這些演示可以來自遠程操作演示中的人類真實視頻，也可以來自仿真數據。模仿學習使用已標記的數據集，有利于在難以編程定義的不同環境中教授機器人復雜動作。
雖然錄制演示可能比指定獎勵策略更簡單，但創建完美的演示可能具有挑戰性，并且機器人可能難以應對一些未曾預見的情況。在真實世界中收集廣泛、高質量的數據集既繁瑣又耗時，而且成本往往高得令人卻步。但是，從物理精確的仿真環境中生成的合成數據，有助于加快數據收集過程。
用于合成運動生成的 NVIDIA Isaac GR00T Blueprint 是基于 NVIDIA Omniverse 和 NVIDIA Cosmos 構建的參考工作流。它從少量的人類演示中創建了大量的合成運動軌跡，用于機器人操作。
利用為該藍圖提供的首批組件，NVIDIA 能夠在短短 11 小時內生成 780,000 個合成軌跡，相當于 6,500 小時或連續九個月的人類演示數據。然后，通過將合成數據與真實數據相結合，與僅使用真實數據相比，NVIDIA 將 GR00T N1 的性能提高了 40%。
Blueprint 概述
圖 1. NVIDIA Isaac GR00T Blueprint 架構
該工作流包括以下關鍵組成部分：
GR00T-Teleop：即將推出，但目前已經可以使用藍圖中提供的樣本數據。
- NVIDIA CloudXR Runtime：將 Isaac Lab 中的仿真傳輸到 Apple Vision Pro，并接收用于人形機器人遠程操作的控制數據。
- 適用于 Apple Vision Pro 的 Isaac XR Teleop 示例應用：使用戶能夠與從 CloudXR Runtime 流式傳輸的 Isaac Lab 仿真進行沉浸式交互，并發送回用于人形機器人遠程操作的控制數據。
GR00T-Mimic：使用錄制的演示作為輸入，在 Isaac Lab 中生成額外的合成運動軌跡。此藍圖的第一版僅適用于單臂操作，支持人形機器人雙臂操作的版本即將推出。
- 要錄制您自己的動作，請使用空格鼠標控件記錄動作。更多信息，請參閱生成其他演示：
GR00T-Gen：通過隨機化場景中的背景、光照和其他變量來增加多樣性，并通過 NVIDIA Cosmos Transfer 增強生成的圖像。
Isaac Lab：使用統一的開源機器人學習框架訓練機器人策略。Isaac Lab 基于 NVIDIA Isaac Sim 構建。
圖 2. 遠程操作架構
工作流從數據采集開始，在這個過程中，將使用像 Apple Vision Pro 這樣的高保真設備，在仿真環境中捕捉人類的動作和行為。Apple Vision Pro 將手部追蹤數據傳輸到如 Isaac Lab 等的仿真平臺，同時仿真平臺將機器人環境的沉浸式視圖傳輸回該設備。這種設置使得機器人操作更加直觀和互動，有助于收集高質量的遠程操作數據。
Isaac Lab 中的機器人仿真被傳輸到 Apple Vision Pro，讓您能夠可視化機器人的環境。通過移動手部，您可以直觀地控制機器人執行各種任務。這種設置提供了沉浸式且互動的遠程操作體驗。
圖 3. Isaac Lab 中的遠程操作
使用 GR00T-Mimic 生成合成運動軌跡
數據收集后，下一步是生成合成軌跡。使用 Isaac GR00T-Mimic，能夠從少量人類示范中推算出大量合成運動軌跡。
這個過程包括在示范中標記關鍵點，并使用插值法確保合成軌跡平滑且符合情境。然后對生成的數據進行評估和優化，以滿足訓練所需的標準。
在這個示例中，我們成功生成了 1000 條合成軌跡。
圖 4. Isaac Lab 中生成的一組合成軌跡
擴充并生成大量數據及多樣化數據集
為了縮小仿真與現實之間的差距，關鍵是提升合成生成圖像的真實感，使其達到必要的逼真度，并通過隨機化照明、顏色和背景等各種參數來增加多樣性。
通常，這個過程需要構建逼真的 3D 場景和物體，而且需要耗費大量時間并具備專業知識。借助 Cosmos Transfer（WFMs），只需簡單的文本提示，就能大幅加快這一過程，從原本的數小時縮短至幾分鐘。
圖 5 和圖 6 的示例，展示了將合成生成的圖像輸入到 NVIDIA Cosmos Transfer WFM 后可實現的逼真效果。
圖 5. 在 Isaac Lab 中創建的合成生成圖像
圖 6. 借助 NVIDIA Cosmos Transfer WFM 實現逼真的合成圖像
在 Isaac Lab 中使用模仿學習進行訓練
最后，通過模仿學習，利用合成數據集對機器人進行訓練。在這個階段，會訓練一個策略，比如 Robomimic 套件的循環高斯混合模型（GMM），以模仿合成數據中的動作。訓練在比如 Isaac Lab 這樣的仿真環境中進行，并且通過多次試驗來評估訓練后的策略的性能。
為了展示如何使用這些數據，我們訓練了一臺帶有夾爪的 Franka 機器人，在 Isaac Lab 中執行堆疊任務。我們將 Behavioral Cloning 與 Robomimic 套件中的遞歸 GMM 策略結合使用，該策略使用兩個隱藏維度為 400 的長短期記憶（LSTM）層。
網絡的輸入包括機器人終端執行器的位姿、夾爪狀態以及相對物體的位姿，而輸出是一個用于在 Isaac Lab 環境中驅動機器人的增量位姿動作。
使用由 1000 次成功示范組成的數據集，并經過 2000 次迭代，我們實現了大約 50 次迭代 / 秒的訓練速度（相當于在 NVIDIA RTX GPU 上大約 0.5 小時的訓練時間）。在 50 次實驗的平均結果中，經過訓練的策略在堆棧任務中的成功率達到了 84%。
圖 7. 在 Isaac Lab 中訓練的夾爪
工作流的優勢
此方法的主要優勢在于在數據收集過程中節省了時間，從堆疊立方體到線程針等各種操作任務的成功率即可證明這一點，例如在使用 GPU 和 cuOpt 等技術時，成功率顯著提高。
圖 8. 策略模型訓練結果（來源于 MimicGen：利用人類演示實現可擴展機器人學習的數據生成系統）
傳統上，經過適當訓練的人工操作員大約需要一分鐘來錄制一段高質量的示范動作，然而由于需要耗費大量人力，且存在出錯的可能性，這種方式很難大規模推廣。相比之下，這種新方法通過結合少量人類演示和合成數據，能達到相似的成功率，將數據采集時間從幾小時縮短到幾分鐘。
通過 NVIDIA Cosmos，您可以增強合成圖像，以實現所需的逼真度，僅使用文本提示即可有效縮小仿真與現實之間的差距。這種方法顯著簡化了數據收集過程，使您能夠生成多樣化的大型數據集，同時保持或提高生成的機器人策略的質量。
使用該藍圖的開發者
智元機器人、Mentee Robotics、UCR 和北京人形機器人創新中心等人形機器人開發者已將該藍圖的組件集成到其人形機器人開發流程中。
Field AI、Lab0、Miso Robotics、RIVR 和 Sanctuary AI 等其他公司也在利用 Isaac 仿真框架，開發機器人大腦和軟件棧，以及測試和驗證物理機器人。
開始使用
在本文中，我們討論了如何通過 NVIDIA Isaac GR00T 收集、生成和擴充訓練單臂操作器所需的數據。
- 在 build.nvidia.com 上體驗用于合成運動生成的 NVIDIA Isaac GR00T Blueprint
- 從 /NVIDIA-Omniverse-blueprints GitHub 代碼庫下載藍圖，并在您選擇的基礎架構上進行部署
此藍圖的第一版僅適用于單臂操作，支持人形機器人雙臂操作的版本即將推出。
本文最初發布于 2025 年 1 月，已根據新的信息進行了修改。
