在 COMPUTEX 2025 上，NVIDIA 宣布對其機器人仿真參考應用 NVIDIA Isaac Sim 和機器人學習框架 NVIDIA Isaac Lab 進行新的更新，以加速開發各種具體化的機器人。
Isaac Sim 和 Lab 將完全兼容 NVIDIA RTX PRO 6000 工作站和服務器，為訓練中的每個機器人開發工作負載提供單一架構， 合成數據生成 、 機器人學習 ，以及 模擬 。
在本文中，我們將進一步探討將于今年第二季度推出的 Isaac Sim 和 Isaac Lab 的新功能，以及這些更新如何加速機器人工作流程。
Isaac Sim 5.0 的新功能?
新的 Isaac Sim 基于 NVIDIA Omniverse 和 OpenUSD 構建，將是開放和可定制的，通過 NVIDIA Launchable 加快開發速度，并支持先進的合成數據生成流程，以加速機器人仿真。
開放且完全可定制?
即將在 GitHub 上推出的 Isaac Sim 5.0 將是開放的、完全可定制的和可擴展的，使用戶能夠根據特定需求定制仿真，例如 合成數據生成 (SDG) 和 Software-in-the-Loop 測試。
企業對基礎 Omniverse Kit 的其他支持和商業再分發權利需要 Omniverse Enterprise 許可證 。
借助 NVIDIA Brev 更快開始使用
Isaac Sim 5.0 將通過 NVIDIA Brev 進行訪問，可讓主要云提供商直接訪問 NVIDIA GPU 實例。Brev 為開發者提供了一種啟動 Isaac Sim 的即時方式，從而消除基礎架構開銷并加速迭代周期
您可以選擇一鍵式可啟動部署，也可以通過選擇實例類型和端口配置自定義您的部署。
先進的合成數據生成流程
仿真生成的合成數據可確保對現實世界的物理特性 (包括運動數據和環境交互) 進行準確建模。這也為捕捉現實世界中難以收集到的罕見場景提供了一種方法。
MobilityGen
高質量的 motion 數據 是訓練更智能、適應性更強的機器人的基礎，這些機器人能夠在現實世界環境中安全高效地運行。這需要逼真的 motion 動力學和豐富的 ground-truth 數據，以開發可在機器人和環境中泛化的適應性強、高效的 mobility 模型。
MobilityGen 將作為 Isaac Sim 中的擴展程序提供，支持生成各種基于物理性質的數據和感知模型訓練數據，例如占用地圖、機器人狀態、姿態、速度和圖像。
MobilityGen 將作為 Isaac Sim 中的擴展程序提供，用于創建各種基于物理的數據以及用于感知模型訓練的數據，例如占用地圖、機器人狀態、姿態、速度和圖像。它還將支持各種數據采集方法，例如遠程操作、自動操作和可定制的路線規劃。生成的數據可用于訓練自主移動機器人、四足機器人和 人形機器人 。來自 MobilityGen 的數據用于訓練 X-Mobility 端到端通用導航模型。
將合成數據生成擴展到物理空間
物理 AI 使機器人、自動駕駛汽車和智能空間等系統能夠在工廠、倉庫和城市等現實環境中感知和采取行動。為了更好地從空間角度理解環境，開發者需要訓練數據來準確模擬這些復雜 3D 環境中的攝像頭會看到的多個移動的行為者和物體。
Isaac Sim 中的新擴展程序可生成用于訓練視覺 AI 模型的合成圖像和視頻數據，包括：
- Isaacsim.Replicator.Agent ：模擬人類和機器人角色在 3D 環境中執行行走、坐姿或舉重等動作。
- Isaacsim.Replicator.Object ：生成合成數據集，用于使用可配置場景和域隨機化進行物體檢測。
- Incident Extension (即將在 Isaac 5.0 中推出) ：生成基于事件的數據，例如火災、溢出或掉落的物體。
- Caption Extension (即將在 Isaac 5.0 中推出) ：創建圖像描述對，用于訓練有關場景理解的視覺語言模型。
改進了 Cosmos 世界基礎模型的數據格式兼容性
NVIDIA Cosmos Transfer 等 世界基礎模型 (WFMs) 有助于將 Isaac Sim 生成的合成數據增強到模型訓練所需的逼真度。 NVIDIA Omniverse Replicator 的新寫入器針對 Cosmos Transfer 輸入進行了優化，使用戶能夠輕松生成和導出用于提取的高質量合成數據。它支持獨立工作流和腳本編輯器，并且可以無縫集成到現有的 Isaac Sim 合成數據生成腳本中。
增強型傳感器仿真?
準確的 傳感器仿真 對于在現實世界中成功部署機器人和計算機視覺應用至關重要。Isaac Sim 將支持通用深度圖噪聲模型，使開發者能夠逼真地模擬立體攝像頭的噪聲特征。此功能有助于生成噪聲模式與真實傳感器數據相似的深度圖像，進一步提高合成輸出的真實感。
改進的執行器模型?
Isaac Sim 現在支持通過 OpenUSD 架構定義的新關節摩擦模型，包括 actuator 和 friction 參數，該模型是與 Hexagon Robotics 和 maxon 合作開發的。這些模型使用制造商數據表中的真實數據，可確保模擬中關節和電機的驅動與實際行為密切反映，從而縮小模擬與現實之間的差距。有了更準確的 actuator 建模， 強化學習 (RL) 策略可以得到更好的訓練，從而實現從模擬到物理硬件的更平穩過渡，并在現實世界中實現更可靠的機器人性能。
借助標準化 ROS 2 接口和 ZMQ 橋接器簡化機器人工作流程
新的標準化 ROS 2 仿真接口通過引入一種一致的方法來通過 ROS 2 控制不同的模擬器，從而解決機器人領域持續存在的挑戰。這個新的標準化接口由 Robotec.ai 牽頭，并與 Gazebo、Open 3D Engine 和 NVIDIA 合作開發，通過為開發者提供一種一致的方法來控制 ROS 2 中的模擬，從而簡化集成。
ZMQ 橋接器 是為 Isaac Sim 4.5 添加的擴展，可實現與 ROS 以外的外部應用程序的快速雙向通信。它支持軟件在環測試，并且可以擴展到邊緣設備上的硬件在環。用例包括流式傳輸攝像頭數據、傳輸 ground truth、發送控制命令和交換輔助數據。
Isaac Lab 2.2 的新增功能?
最新的 Isaac Lab 更新包括 GR00T N1 模型的基準測試腳本、增強的合成運動數據生成、通過 Omniverse Fabric 縮短加載時間，以及改進的吸盤抓手建模。
對 NVIDIA Isaac GR00T N 模型進行基準測試和評估
最新版本的 Isaac Lab 將支持用于 NVIDIA Isaac GR00T N 系列基礎模型閉環評估的環境基準測試腳本。開發者可以加載這些預構建環境和工業任務 (例如螺母傾注和管道分揀) 來運行閉環基準測試。
除了新的環境和基準之外，Isaac Lab 還將支持 LeRobot 數據格式，將 Isaac GR00T 藍圖生成的合成數據轉換為合成操作運動生成 ，用于 Isaac GR00T N1 模型的后訓練。然后，可以在 Isaac Sim 中針對大量“假設”場景進一步驗證經過訓練的策略。
使用 GR00T-Mimic 增強合成運動生成
Isaac Lab 2.2 基于 Isaac Lab 2.1 中引入的雙手動操作，現在將包括預構建環境，如圖 4 所示，在 NVIDIA GTC 2025 上進行了演示。
這些示例環境專為數據采集而設計，預先填充了 Fourier GR1 人形機器人，因此可以更輕松地收集用于訓練機器人策略模型的合成運動數據。這些新的訓練環境使用人形機器人視角的視覺輸入以及機器人狀態信息，例如 GR00T N 模型的關節位置。
此外，還將提供樣本數據、腳本、提示和模型檢查點，以增強 Cosmos-Transfer1 中的合成數據。
提高生活質量?
新版本的 Isaac Lab 將使用 NVIDIA Fabric 。此 Omniverse 庫支持高性能創建、修改和訪問場景數據，以及在網絡中的 CPU、GPU 和其他 Fabric 客戶端之間高效通信場景數據。
結構可對數據進行索引并提供查詢 API，使物理和渲染等系統能夠僅訪問所需的數據，而無需在每幀中遍歷整個場景。這將加快加載速度并改進擴展，物理模擬和傳感器數據采集等任務將與用戶交互并行運行。
張量吸盤?
表面抓手是機器人操控的主要組件。物理精準的模擬和張量化訪問對于實現基于吸盤的強化學習任務和控制行為至關重要。
以前，surface gripper 僅限于單個關節連接點，因此無法拾取多個物體。此外，它還缺乏調整物理行為的靈活性，例如使用吸力來吸引物體，因為它只能在當前位置靜態地抓取物體。此外，必須針對每個環境單獨映射每個抓手，而不是使用更精簡、tensorized 訪問方法。
現在，Isaac Sim 和 Isaac Lab 將允許用戶創建和配置可變形的表面抓手，能夠測量抓握力并以 tensorized 方式更新吸盤參數。
NVIDIA Isaac Sim 5.0 和 Isaac Lab 2.2 將于今年夏天推出。
采用生態系統?
Agility Robotics、Boston Dynamics、Fourier、Mentee Robotics、Neura Robotics 和 XPENG Robotics 正在使用 NVIDIA Isaac Sim 和 Isaac Lab 模擬和驗證其人形機器人。Skild AI 正在使用仿真框架開發通用機器人智能，而 General Robotics 正在將其集成到其機器人仿真平臺中。
此外，Adata 和 Advantech、臺達電子、富士康、Foxlink、Solomon、Techman 和緯創等 臺灣領先的電子和機器人制造商 正在使用 NVIDIA Isaac Sim 和 Lab 開發下一波 AI 機器人。
開始開發您的 robotics 解決方案
要接收有關以下其他資源和參考架構的更新，以支持您的開發目標，請注冊 NVIDIA 開發者計劃 。
- NVIDIA Isaac Sim 基于 NVIDIA Omniverse 構建，是一款參考應用，支持開發者在基于物理的虛擬環境中設計、仿真、測試和訓練基于 AI 的機器人和自主機器。
- NVIDIA Isaac Lab ，一款用于機器人學習的輕量級應用。
- NVIDIA Isaac Perceptor ，用于自主移動機器人 (AMRs) 的參考工作流。
- NVIDIA Isaac Manipulator 為工業機械臂提供了新的基礎模型和參考工作流。
- NVIDIA Isaac ROS 基于開源 ROS 2 軟件框架構建，是加速計算包和 AI 模型的集合，可為世界各地的 ROS 開發者提供 NVIDIA 加速。
- NVIDIA Jetson 是適用于自主機器和嵌入式應用的領先平臺。
觀看 NVIDIA 創始人兼首席執行官 Jensen Huang 的 COMPUTEX 主題演講以及 NVIDIA GTC 臺北 2025 會議。
請于 5 月 28 日 (星期三) 上午 11 點 (太平洋夏令時間) 觀看我們即將推出的 OpenUSD Insiders 直播 ， 回顧 NVIDIA Isaac Sim 和 Isaac Lab 版本以及在臺北國際電腦展覽會上發布的其他物理 AI 公告 。
訂閱我們的時事通訊，并在 LinkedIn、Instagram、X 和 Facebook 上關注 NVIDIA Robotics，及時了解最新動態。探索 NVIDIA 文檔和 YouTube 頻道，并加入 NVIDIA Developer Robotics 論壇。要開啟您的機器人開發之旅，請立即注冊我們的免費 NVIDIA Robotics Fundamentals 課程。
開始使用 NVIDIA Isaac 庫和 AI 模型 開發物理 AI 系統 。
?
?
?
