Isaac ROS – NVIDIA 技術博客

Isaac ROS – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Wed, 02 Jul 2025 04:50:38 +0000 zh-CN hourly 1 196178272 借助 NVIDIA Isaac Manipulator 和 Vention Machine 提高工業機器人的靈活性 Motion AI http://www.open-lab.net/zh-cn/blog/making-industrial-robots-more-nimble-with-nvidia-isaac-manipulator-and-vention-machinemotion-ai/ Tue, 24 Jun 2025 04:45:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=14490 Continued]]> 隨著工業自動化的加速，工廠越來越依賴先進的機器人技術來提高生產力和運營彈性。機器人的成功部署取決于精確的運動規劃、準確的空間感知和可靠的避障等功能。支持 AI 的機器人和軟件定義的自動化有助于提高工廠的自主性、可擴展性和彈性。高性能機器人軟件對于現代制造業至關重要。本博客探討了 NVIDIA Isaac Manipulator 中的 cuMotion、nvblox、FoundationPose 和 FoundationStereo 軟件庫和 AI 模型如何顯著優化支持 AI 的機械臂（也稱為 Manipulator）的功能。這些先進的 GPU 加速工具可提供實時運動規劃、精確的環境映射和準確的立體感知，使制造商能夠以最小的集成復雜性快速部署復雜的自動化解決方案。 NVIDIA Isaac Manipulator 是一款全面的軟件解決方案，可利用 NVIDIA 先進的 GPU…

]]>

14490

R2D2：利用 NVIDIA Research 構建AI驅動的3D機器人感知與地圖構建技術 http://www.open-lab.net/zh-cn/blog/r2d2-building-ai-based-3d-robot-perception-and-mapping-with-nvidia-research/ Tue, 17 Jun 2025 04:57:57 +0000 http://www.open-lab.net/zh-cn/blog/?p=14388 Continued]]> 機器人必須感知和解釋其 3D 環境，才能安全有效地行動。這對于非結構化或陌生空間中的自主導航、對象操作和遠程操作等任務尤為重要。機器人感知的進步越來越側重于在統一的實時工作流程中使用強大的感知模塊來集成 3D 場景理解、通用物體追蹤和持久空間內存。本期 NVIDIA 機器人研發摘要 (R2D2)探討了 NVIDIA Research 的多個感知模型和系統，這些模型和系統支持統一的機器人 3D 感知堆棧。它們可在不同的現實世界環境中實現可靠的深度估計、攝像頭和物體姿態追蹤以及 3D 重建：這些項目的核心在于強調 3D 空間表示，即以機器人可以使用的形式捕獲環境或物體的結構。FoundationStereo 可處理立體圖像深度估計的基本任務。它引入了一個用于立體深度的基礎模型，專為實現強零樣本泛化而設計。

]]>

14388

使用 NVIDIA Isaac Lab 為工業機器人裝配應用彌合仿真與現實之間的差距 http://www.open-lab.net/zh-cn/blog/bridging-the-sim-to-real-gap-for-industrial-robotic-assembly-applications-using-nvidia-isaac-lab/ Tue, 20 May 2025 04:57:56 +0000 http://www.open-lab.net/zh-cn/blog/?p=13918 Continued]]> 多個部件的組裝在幾乎每個主要行業 (如制造、汽車、航空航天、電子和醫療設備) 中都發揮著關鍵作用。盡管機器人組裝應用廣泛，但它仍然是一項重大挑戰。它涉及復雜的交互，機器人必須通過持續的物理接觸來操縱物體，這需要較高的精度和準確性。如今的機器人裝配系統長期以來一直受到固定自動化的限制。這些系統專為需要大量人工設計和部署的特定任務而構建，限制了其適應性和可擴展性。機器人裝配的未來在于靈活的自動化。未來的機器人必須快速適應新的部件、姿勢和環境。將機器人技術與仿真和 AI 集成可以突破這些限制。多年來，NVIDIA 一直在推進這一領域的研究，我們與 Universal Robots (UR) 的持續合作正在推動這一從研究創新到現實世界工業應用的轉型。在本文中，我們展示了 UR10e 機器人上齒輪組件任務的零樣本仿真到現實傳輸。

Source

]]>

13918

R2D2：通過 NVIDIA Research 解鎖機器人裝配和豐富的接觸操作 http://www.open-lab.net/zh-cn/blog/r2d2-unlocking-robotic-assembly-and-contact-rich-manipulation-with-nvidia-research/ Fri, 16 May 2025 06:45:13 +0000 http://www.open-lab.net/zh-cn/blog/?p=13961 Continued]]> 本期 NVIDIA 機器人研發摘要 (R2D2) 探討了 NVIDIA Research 針對機器人裝配任務提供的多個接觸性豐富的操作工作流，以及它們如何通過固定自動化來應對魯棒性、適應性和可擴展性等關鍵挑戰。接觸性豐富的操作是指涉及機器人與其環境中的物體之間持續或重復物理接觸的機器人任務，需要精確控制力和運動。與簡單的拾取和放置操作不同，這些任務需要精細交互來管理不確定性下的摩擦、合規性和對齊。它在機器人、制造和汽車等行業中發揮著關鍵作用，在這些行業中，插入定位器、合齒輪、螺紋螺栓或組裝卡扣配合部件等任務很常見。作為機器人裝配的核心能力，具有豐富接觸性的操作使機器人能夠執行復雜的高精度任務，這對于自動化裝配和處理現實世界的可變性至關重要。由于需要在動態環境中進行精確操作，因此解決機器人裝配任務一直具有挑戰性。傳統上，

]]>

13961

利用最新的 NVIDIA Isaac 版本推進機器人學習、感知和操控技術 http://www.open-lab.net/zh-cn/blog/advancing-robot-learning-perception-and-manipulation-with-latest-nvidia-isaac-release/ Mon, 06 Jan 2025 06:33:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=12575 Continued]]> 在 CES 2025 上，NVIDIA 宣布了對 NVIDIA Isaac 的重要更新。NVIDIA Isaac 是一個由加速庫、應用框架和 AI 模型組成的平臺，可加速 AI 機器人的開發。 NVIDIA Isaac 簡化了從仿真到實際部署的機器人系統開發過程。在本文中，我們將討論 NVIDIA Isaac 的所有新進展： NVIDIA Isaac Sim 是一款基于 NVIDIA Omniverse 構建的參考應用，使您能夠在基于物理的虛擬環境中開發、模擬和測試 AI 驅動的機器人。新的 Isaac Sim 4.5 將于 1 月底推出，將帶來一系列重大變化，包括： Isaac Sim 經過重新設計，是一款可定制的參考應用。用于加快啟動速度的最小模板和具有完整功能以及所有依賴項的完整模板。

]]>

12575

借助 ReMEmbR，生成式 AI 賦予機器人推理和行動能力 http://www.open-lab.net/zh-cn/blog/using-generative-ai-to-enable-robots-to-reason-and-act-with-remembr/ Mon, 23 Sep 2024 07:14:58 +0000 http://www.open-lab.net/zh-cn/blog/?p=11362 Continued]]> 視覺語言模型（VLM）通過將文本和圖像投影到同一嵌入空間，將基礎 LLM 的強大語言理解能力與視覺 Transformer （ViT）的視覺功能相結合。它們可以獲取非結構化多模態數據并對其進行推理，然后以結構化格式返回輸出。這些模型基于廣泛的預訓練基礎構建，可以通過提供新提示或參數高效微調輕松適應不同的視覺相關任務。它們還可以與實時數據源和工具集成，以便在不知道答案時請求獲取更多信息，或在知道答案時采取行動。LLMs 和 VLMs 可以充當代理，對數據進行推理，幫助機器人執行可能難以定義的有意義任務。在之前的文章“ 使用 NVIDIA Jetson 實現生成式 AI ”中，我們展示了您可以在 NVIDIA Jetson Orin 設備上運行 LLM 和 VLM，從而實現各種新功能，例如零樣本物體檢測、視頻字幕和在邊緣設備上生成文本。但是，

]]>

11362

使用新的 NVIDIA Isaac 基礎模型和工作流程創建、設計和部署機器人應用 http://www.open-lab.net/zh-cn/blog/create-design-and-deploy-robotics-applications-using-new-nvidia-isaac-foundation-models-and-workflows/ Sun, 02 Jun 2024 08:37:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=10246 Continued]]> 機器人在智能制造設施、商業廚房、醫院、倉庫物流和農業領域等不同環境中的應用正在迅速擴展。該行業正在向智能自動化轉變，這需要增強的機器人功能來執行感知、地圖構建、導航、負載處理、物體抓取和復雜的裝配任務等功能。 AI 在這一變革中發揮著關鍵作用，提高了機器人的性能。通過集成 NVIDIA AI 加速，機器人可以更高的精度和效率處理復雜的任務，在各種應用中充分發揮自己的潛力。在 COMPUTEX，我們宣布了一些新功能，可幫助機器人專家和工程師構建智能機器人。這些功能包括： AMR 和 AGV 對于裝配線效率、物料搬運和醫療健康物流至關重要。隨著這些機器人在復雜和非結構化環境中導航，感知周圍環境并作出反應的能力變得至關重要。 Isaac Perceptor，基于 NVIDIA Isaac 機器人操作系統 (ROS)，助力原始設備制造商 (OEM)、貨運服務提供商、

]]>

10246

借助 NVIDIA Isaac Sim 在工作站上對攝像頭性能進行基準測試 http://www.open-lab.net/zh-cn/blog/benchmarking-camera-performance-on-your-workstation-with-nvidia-isaac-sim/ Mon, 22 Jan 2024 09:03:54 +0000 http://www.open-lab.net/zh-cn/blog/?p=8835 Continued]]> 機器人通常配備攝像頭。在設計數字孿生仿真時，在模擬環境中準確復制其性能非常重要。但是，為了確保模擬平穩運行，必須檢查運行模擬的工作站的性能。在這篇博客文章中，我們將探討在 NVIDIA Isaac Sim 上的工作站上設置和運行攝像頭基準測試的步驟。在開始之前，我們將探索 Isaac Sim 如何添加攝像頭，以及如何導出 ROS 2 的輸出。 NVIDIA Isaac Sim 可以模擬多種類型的傳感器，從激光雷達、超聲波、通用范圍傳感器、接觸傳感器以及 IMU 力和接近傳感器等距離傳感器開始。攝像頭傳感器是 Isaac Sim 中最先進的仿真技術，您可以使用用戶界面快速添加此傳感器。此外，您還可以使用 Python 腳本從 Python 對象加載相機或多個攝像頭，如下例所示。有關 NVIDIA Isaac Sim…

]]>

8835

使用 NVIDIA Isaac ROS 為深度物體姿態估計訓練生成合成數據 http://www.open-lab.net/zh-cn/blog/generate-synthetic-data-for-deep-object-pose-estimation-training-with-nvidia-isaac-ros/ Thu, 18 Jan 2024 09:14:32 +0000 http://www.open-lab.net/zh-cn/blog/?p=8841 Continued]]> 機器人智能體要與環境中的物體進行交互，必須了解周圍物體的位置和方向。此信息描述了 3D 空間中剛體的六自由度 (DOF) 姿態，詳細說明了平移和旋轉狀態。準確的姿態估計對于確定如何定位機械臂以特定方式抓取或放置物體至關重要。用例包括用于拾放操作的機器人操作，尤其適用于包裝箱、部件裝載和食品包裝等任務的倉庫場景。了解物體的姿態對于機器人對人類的切換也至關重要，在醫療健康、零售和家庭場景中也很有用。 NVIDIA 開發了深度物體姿態估計 (DOPE)，用于查找物體的六個 DOF 姿態。在本文中，我們將展示如何生成合成數據來訓練物體的 DOPE 模型。 DOPE 是由 NVIDIA 開發的一次性 DNN，可通過 RGB 圖像估算六個感興趣物體的自由度姿態，以實現機器人操作環境中的物體。它僅根據合成數據進行訓練，并且需要一個紋理 3D 模型。

]]>

8841

使用 NVIDIA Isaac 模擬和本地化 Husky 機器人 http://www.open-lab.net/zh-cn/blog/simulate-and-localize-a-husky-robot-with-nvidia-isaac/ Thu, 14 Dec 2023 05:51:10 +0000 http://www.open-lab.net/zh-cn/blog/?p=8596 Continued]]> 由 Clearpath Robotics 開發的 Husky 機器人，是一款專為室內和室外研究用途設計的多功能四輪平臺。通過添加其他傳感器和更換高級主板，可以輕松進行升級改造。本文介紹了如何使用官方 ROS 2 Husky 軟件包，將機器人導入到 NVIDIA Isaac Sim 并進行模擬創建。在此演示中，Husky 機器人搭載了 NVIDIA Jetson Orin Nano，并使用最新版本的 Isaac ROS 2 驅動。該系統包含了多個 Isaac ROS 軟件包，用于機器人定位的 NVIDIA Isaac ROS VSLAM、地圖構建的 NVIDIA Isaac ROS NvBlox 以及 Apriltag 檢測的 NVIDIA Isaac ROS Apriltag。 Husky 統一機器人描述格式 (URDF) 從 ROS 2 主題中動態加載。

]]>

8596

使用適用于 ROS 的 NVIDIA Isaac Transport 提升自定義 ROS 圖形 http://www.open-lab.net/zh-cn/blog/boosting-custom-ros-graphs-using-nvidia-isaac-transport-for-ros/ Fri, 17 Nov 2023 05:08:37 +0000 http://www.open-lab.net/zh-cn/blog/?p=8302 Continued]]> 適用于 ROS 的 NVIDIA Isaac Transport（NITROS）是在 ROS 2 Humble 中引入的兩種硬件加速功能——類型適應和類型協商的實現。類型適應使 ROS 節點能夠以針對特定硬件加速器優化的數據格式工作。經過調整的類型用于處理圖形，以減少 CPU 和內存加速器之間的內存復制。通過類型協商，不同的 ROS 節點可以在圖形中公布它們支持的類型，使得 ROS 框架能夠選擇合適的數據格式，從而實現最佳性能。當兩個支持 NITROS 的 ROS 節點在一個圖形中相鄰時，它們可以通過類型協商發現彼此，然后使用類型適應來共享數據。類型適應和類型協商相結合，通過刪除不必要的內存拷貝，顯著提高了基于 ROS 的應用程序中 AI 和計算機視覺任務的性能。這降低了 CPU 開銷，并優化了底層硬件的性能。

]]>

8302

借助 NVIDIA Isaac 平臺上的高級模擬和感知工具加速 AI 機器人開發 http://www.open-lab.net/zh-cn/blog/accelerate-ai-enabled-robotics-with-advanced-simulation-and-perception-tools-in-nvidia-isaac-platform/ Wed, 18 Oct 2023 06:01:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=8008 Continued]]> NVIDIA 于今日在 ROSCon 2023 發布了對 NVIDIA Isaac Robotics 平臺的重大更新。該平臺為全球機器人開發者提供高性能感知和高保真模擬。這些更新包括 NVIDIA Isaac ROS 2.0 和 NVIDIA Isaac Sim 2023.1，以及感知和模擬升級，可為 ROS 開發者簡化基于 AI 的高性能機器人應用的構建和測試。 “ROS 不斷發展壯大，為整個機器人開發社區提供開源軟件。” Open Source Robotics Foundation 表示，“新的 NVIDIA 預構建 ROS 2 軟件包在此版本中推出，將使 ROS 2 隨時可供廣大用戶使用，從而加速 NVIDIA Jetson 開發者社區的增長。” 隨著機器人向更高級別的自主性發展，以及各種傳感器技術的不斷擴散，CPU 受限處理的限制變得顯而易見。

]]>

8008

用 NVIDIA Isaac Sim 、 ROS 和 Nimbus 開發多機器人環境 http://www.open-lab.net/zh-cn/blog/develop-a-multi-robot-environment-with-nvidia-isaac-sim-ros-and-nimbus/ Mon, 29 May 2023 05:37:11 +0000 http://www.open-lab.net/zh-cn/blog/?p=7100 Continued]]> 隨著越來越多的自主機器人被部署在現實世界場景中，對高保真多機器人仿真環境的需求正在迅速增長。在這篇文章中，我將回顧我們過去在Cogniteam對于模擬多個機器人，我們目前的進展NVIDIA Isaac Sim，以及如何Nimbus可以加快 Isaac Sim 多機器人仿真的開發和維護。大約 20 年前，我在Cogniteam。我以一個用于多機器人任務分配和團隊合作的機器人框架的想法開始了我們的機器人開發生涯。最初被稱為 Cogni TAO ，該系統的簡化版本后來被發布為 ROS decision_making 當時，多個機器人的用例很少，這些機器人的 3D 模擬是不可能的。因此，我為虛幻錦標賽 2000-2004 年的游戲引擎編寫了一個 mod ，以實現四個機器人的模擬。我們由四名程序員組成的小團隊花了大約 3 年的時間來開發一個可以可靠運行 15 分鐘的模擬環境。

]]>

7100

在 NVIDIA Jetson 上使用 Hardware-in-the-Loop 設計機器人 http://www.open-lab.net/zh-cn/blog/design-your-robot-on-hardware-in-the-loop-with-nvidia-jetson/ Wed, 24 May 2023 04:47:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=7011 Continued]]> Hardware-in-the-Loop（ HIL ）測試是一種強大的工具，用于驗證復雜系統的性能，包括機器人和計算機視覺。這篇文章探討了 HIL 測試是如何與NVIDIA Isaac platform. NVIDIA Isaac 平臺包括 NVIDIA Isaac Sim，一個模擬器，為測試機器人算法提供模擬環境，以及NVIDIA Isaac ROS，為 NVIDIA Jetson 優化的硬件加速軟件，其中包含機器學習、計算機視覺和定位算法。通過在該平臺上使用 HIL 測試，您可以驗證和優化機器人軟件堆棧的性能，從而獲得更安全、更可靠、更高效的產品。在這篇文章中，我們討論了 HIL 系統的各個組件，包括 NVIDIA Isaac 平臺的軟件和硬件。我們研究了它們如何協同工作，以優化機器人和計算機視覺算法的性能。我們還探討了使用 NVIDIA Isaac 平臺進行 HIL…

]]>

7011

使用 NVIDIA Isaac ROS 開發人員預覽版 3 構建高性能機器人應用程序 http://www.open-lab.net/zh-cn/blog/build-high-performance-robotic-applications-with-nvidia-isaac-ros-developer-preview-3/ Tue, 18 Apr 2023 03:11:56 +0000 http://www.open-lab.net/zh-cn/blog/?p=6719 Continued]]> 機器人的復雜性正在增加，具有更高的自主性、更多的傳感器數量和多樣性，以及更多基于傳感器融合的算法。硬件加速對于運行這些日益復雜的工作負載至關重要，從而使機器人應用程序能夠以更高的速度和能效運行更大的工作負載。 NVIDIA Isaac ROS的使命一直致力于為 ROS 開發人員提供開發高性能、節能機器人應用所需的加速計算包和工具 NVIDIA 還在 ROS2 中開創了加速計算的先河，并在每個版本中不斷改進。在過去的兩年里，已經添加了 20 多個硬件加速 ROS 包，并支持最新的 ROS 2 分發。該團隊去年與 Open Robotics 合作，包括自適應和類型協商，以提高提供硬件加速器的計算平臺上的 ROS 性能。他們還實施了 ISAAC ROS 的適應和類型協商，稱為 NITROS (NVIDIA Isaac Transport for ROS).

]]>

6719

人人超碰97caoporen国产