本期 NVIDIA 機器人研發摘要 (R2D2) 探討了 NVIDIA Research 針對機器人裝配任務提供的多個接觸性豐富的操作工作流，以及它們如何通過固定自動化來應對魯棒性、適應性和可擴展性等關鍵挑戰。
什么是接觸密集型操作？
接觸性豐富的操作是指涉及機器人與其環境中的物體之間持續或重復物理接觸的機器人任務，需要精確控制力和運動。與簡單的拾取和放置操作不同，這些任務需要精細交互來管理不確定性下的摩擦、合規性和對齊。
它在 機器人 、 制造 和 汽車 等行業中發揮著關鍵作用，在這些行業中，插入定位器、合齒輪、螺紋螺栓或組裝卡扣配合部件等任務很常見。作為機器人裝配的核心能力，具有豐富接觸性的操作使機器人能夠執行復雜的高精度任務，這對于自動化裝配和處理現實世界的可變性至關重要。
NVIDIA 研究工作流程，用于完成具有挑戰性的機器人裝配任務
由于需要在動態環境中進行精確操作，因此解決機器人裝配任務一直具有挑戰性。傳統上，機器人裝配依賴于固定自動化，限制了靈活性。然而，AI、 機器學習 和 機器人仿真 方面的進步使機器人能夠處理更復雜的任務。以下適用于機器人裝配任務的 NVIDIA Research 工作流程標志著從剛性自動化向更靈活、更可擴展的機器人系統的轉變。
- 工廠 ：基于物理性質的快速仿真和學習工具包，用于進行接觸豐富的實時交互。
- IndustReal ：一個算法和系統工具包，使機器人能夠使用 強化學習 并將其傳輸到現實世界。
- AutoMate：一種新穎的策略學習框架，用于訓練不同幾何結構的專家和多面機器人裝配策略。
- MatchMaker：一種新型工作流，用于使用生成式 AI 自動生成多樣化的仿真就緒型裝配資產對。
- SRSA：用于檢索現有技能的框架，以便對新的機器人裝配任務進行微調。
- TacSL ：基于 GPU 的視覺觸覺傳感器仿真和學習庫。
- FORGE：零樣本仿真到現實轉換的強化學習策略，使用力測量作為輸入。
機器人裝配領域的基礎性進展：Factory、IndustReal 和 Automate
Factory 是一個基于 GPU 的仿真框架，使用 SDF 碰撞、接觸歸約和 Gauss-Seidel 求解器，實時模擬接觸豐富的交互 (長期以來一直被認為是難以處理的計算) 取得了突破。如圖 1 所示，NVIDIA Isaac Lab 現已提供這些環境。基于此，在仿真感知策略更新、基于 SDF 的獎勵、基于采樣的課程和策略級行動集成商等創新的推動下，IndustReal 的發布使裝配技能從仿真到現實世界的零樣本轉移達到了超過 600 次試驗的 83% 到 99% 的成功率。它在 Franka Panda 和 UR10e 上進行了測試，為這些方法的實際工業應用打開了大門。
AutoMate 推出了首個基于仿真的框架，通過將強化學習（reinforcement learning）與模仿學習（imitation learning）相結合來解決各種具有挑戰性的裝配任務，從而大規模實現零樣本仿真到現實的傳輸（zero-shot sim-to-real transfer），從而擴展了這些工作。它提供 100 種兼容仿真的組裝資產、用于解決大約 80 項任務的專家策略，以及通過蒸餾訓練（distillation）和微調（fine-tuning）來處理 20 項任務的通用策略，所有這些策略的成功率都達到了 ~80%。
值得注意的是，這兩種策略都展示了零樣本仿真到現實的傳輸，有時甚至超過了模擬性能。通過超過 5M 次模擬試驗和 500 次真實試驗對 AutoMate 進行了評估，示例如圖 2 所示。專家策略的訓練采用了按拆組裝、強化學習與模仿學習和 Dynamic Time Warping (DTW) 的新組合。多面手策略使用 PointNet 自動編碼器進行幾何表示，從專家策略中提取知識，并利用基于 RL 的微調。
借助先進的學習算法和自動化技術，探索 Robotic Assembly 領域的新前沿
基于 Factory 和 IndustReal 的突破，該團隊利用自動化資產生成、技能檢索和適應、強化和模仿學習以及不同的感官輸入，解決了更復雜、更多樣的裝配挑戰，從而突破了接觸性豐富的操作的界限。以下各節將重點介紹下一波創新浪潮。
MatchMaker：用于機器人裝配的自動化資產生成
MatchMaker 在 ICRA 2025 上亮相，是一種新穎的生成式工作流，可自動生成多樣化且與仿真兼容的裝配資產對，以促進學習裝配技能。它通過生成無滲透、幾何匹配的部件，解決了手動管護資產的挑戰。MatchMaker 接受三種可能的輸入 (無輸入、單個 asset 或 assembly 對) ，并輸出具有可調整 clearance 的仿真就緒型 asset 對。
主要貢獻：
- 自動轉換 ：將不兼容的資產對轉換為與仿真兼容的模型。
- 素材對生成：為新的裝配任務從單個素材創建幾何匹配部件。
- 逼真的接觸交互 ：根據用戶定義的間隙對接觸表面進行腐蝕，確保逼真的部件交互。
MatchMaker 分三個階段生成裝配體對，作為形狀完成任務，如 Figure 3 所示：
- 接觸面檢測 ：VLM (GPT-4o) 可識別資產類型、裝配方向和軸，以檢測接觸面。
- 形狀完成 ：3D 生成模型完成這對作品的第二個素材。
- 間隙規范 ：接觸面受到腐蝕，以避免相互滲透，并確保與模擬器兼容。
圖 4 顯示了生成的資產示例。MatchMaker 已在模擬和真實環境中得到驗證，證明了其在開發穩健的裝配策略方面的有效性。
SRSA：Skill retrieval 和 adaptation for 機器人裝配任務
SRSA ，其特色是 ICLR 2025 聚焦 是一個能夠高效利用數據的框架 機器人學習 通過重復使用和調整組裝任務庫中的預訓練技能。它根據幾何圖形、動態、操作和預測成功為新任務選擇最合適的現有策略，然后針對目標任務對其進行微調。
SRSA 在提供更好的性能、效率和穩定性的同時，還支持持續學習，優于從零開始學習 (例如，使用 AutoMate 技術進行學習) 。它在新任務上的成功率提高了 19%，所需樣本數量減少了 2.4 倍，在現實世界測試中的平均成功率達到了 90%。
TacSL：一個用于視覺觸覺傳感器仿真和學習的庫
TacSL (taxel) 是一個基于 GPU 的視覺觸覺圖像加速模擬庫 (即熱門機器人觸摸傳感器的輸出) 和相應的接觸力場，比之前的先進技術快 200 多倍。
對于人類而言，觸覺是我們理解世界并與之互動的關鍵部分，幫助我們感受壓力、紋理和形狀。在機器人中，tactile sensing 是指使用特殊的 touch sensors 來檢測與物體的接觸，這對于拾取物品、組裝部件或調整抓握等任務尤其有用。盡管 tactile sensing 具有價值，但與 visual sensing 相比，機器人中的 tactile sensing 仍未得到充分利用，因為很難理解數據、逼真地模擬觸覺并訓練機器人根據數據采取行動。
TacSL 通過適用于視覺觸覺傳感器和學習算法的快速 GPU 加速觸覺模擬模塊來應對這些長期挑戰。它使機器人能夠通過逼真的觸摸反饋在仿真環境中學習接觸性豐富的任務，例如固定放置。TacSL 支持大規模訓練和成功的 sim-to-real 轉移 (成功率為 83% 到 91%) ，使基于觸摸的學習更加實用和可擴展性。
視頻 1。使用不同的 socket 位置、peg-in-hand 位置和 peg-in-hand 方向執行插入策略，展示了對嚴重照明變化的魯棒性
FORGE：force-guided 探索，在不確定的情況下實現強大的接觸豐富的操作
FORGE 引入了一種方法，可實現強化學習策略的零樣本仿真到現實的轉換，該策略利用力測量作為輸入。當部分姿勢存在重大不確定性，或者任務需要高精度和準確性時，這種方法非常重要。
主要特性：
- 力觀察輸入：自適應調節操作期間施加的力度。
- 力值機制：限制最大力度，以保護易損部件。
- 動態隨機化方案 ：在訓練期間改變機器人的動力學和部件屬性，以實現穩健的現實世界泛化。
- 成功預測器：實現任務自動完成，而非依賴固定持續時間的執行。
借助這些功能，FORGE 支持安全探索和成功執行，即使位置估計誤差高達 5 毫米。這種能力表現在多級行星齒輪系統的組裝上，如圖 8 所示。這項任務需要三種裝配技能：插入、齒輪 meshing，以及 nut-and-bolt 螺紋。
FORGE 可處理卡扣擬合插入等強制任務，并在所需力未知時使用成功預測自動調整力極限。這表明它能夠以高精度管理復雜任務，并適應現實世界的不確定性。
總結?
機器人組裝非常復雜，需要精確的接觸和現實世界的適應性。本文重點介紹了推動 sim-to-real 傳輸、觸覺和力感知以及自動資產生成的研究，為實現更靈活、適應性更強的自動化鋪平道路。
本文是 NVIDIA 機器人研發摘要 (R2D2) 系列文章的一部分，旨在幫助開發者更深入地了解 NVIDIA 研究團隊 在 物理 AI 和機器人應用方面的 SOTA 突破。
訂閱 時事通訊 并在 YouTube 、 Discord 和 開發者論壇 上關注 NVIDIA Robotics，隨時了解最新信息。
要開始您的機器人開發之旅，請注冊免費的 NVIDIA 機器人開發基礎課程 。
致謝?
感謝 Abhishek Gupta、Adam Moravanszky、Ankur Handa、Bingjie Tang、Bowen Wen、Chad Kessens、Chuang Gan、Dieter Fox、Fabio Ramos、Gaurav S. Sukhatme、Gavriel State、Iretiayo Akinola、Jan Carius、Jie Xu、Kaichun Mo、Karl Van Wyk、Kier Storey、Lukasz Wawrzyniak、Michael A. Lin、Michael Noseworthy、Michelle Lu、Miles Macklin、Nicholas Roy、Philipp Reist、Yashraj Narang、Yian Wang、Yijie Guo、Yunrong Guo.
?
