ROS – NVIDIA 技術博客

ROS 2 和 NVIDIA Isaac Sim 機器人模擬與測試入門指南

Tue, 22 Oct 2024 05:48:15 +0000

物理 AI 賦能的機器人需要在物理世界中自主感知、規劃和執行復雜任務，其中包括在動態和不可預測的環境中安全、高效地運輸和操控物體。借助機器人仿真，開發者可以通過虛擬機器人學習和測試來訓練、模擬和驗證這些先進的系統。在部署之前，這一切都發生在基于物理的數字環境表示中，如倉庫和工廠。在本文中，我們將向您展示如何利用 ROS 2 軟件包和 NVIDIA Isaac Sim (基于 NVIDIA Omniverse 平臺構建的參考應用) 來模擬和驗證機器人堆棧。我們還將討論 NVIDIA Isaac Sim 可以為 AI 機器人解鎖的用例。 Isaac Sim 基于 Universal Scene Description (USD) 構建，后者是 Isaac Sim 中用于仿真的基礎框架。作為開發者，您可以使用 Isaac Sim 輕松高效地設計、導入、

Source

]]>

使用 NVIDIA Isaac 模擬和本地化 Husky 機器人

Thu, 14 Dec 2023 05:51:10 +0000

由 Clearpath Robotics 開發的 Husky 機器人，是一款專為室內和室外研究用途設計的多功能四輪平臺。通過添加其他傳感器和更換高級主板，可以輕松進行升級改造。本文介紹了如何使用官方 ROS 2 Husky 軟件包，將機器人導入到 NVIDIA Isaac Sim 并進行模擬創建。在此演示中，Husky 機器人搭載了 NVIDIA Jetson Orin Nano，并使用最新版本的 Isaac ROS 2 驅動。該系統包含了多個 Isaac ROS 軟件包，用于機器人定位的 NVIDIA Isaac ROS VSLAM、地圖構建的 NVIDIA Isaac ROS NvBlox 以及 Apriltag 檢測的 NVIDIA Isaac ROS Apriltag。 Husky 統一機器人描述格式 (URDF) 從 ROS 2 主題中動態加載。

Source

]]>

如何訓練自主移動機器人使用合成數據檢測倉庫托盤搬運車

Wed, 25 Oct 2023 05:29:37 +0000

合成數據在訓練部署在自主移動機器人（AMR）上的感知 AI 模型時起著關鍵作用。這一過程在制造業中變得越來越重要。如果想查看使用合成數據生成可檢測倉庫中托盤的預訓練模型的示例，請參見利用 OpenUSD 和合成數據開發托盤檢測模型。這篇文章探討了如何訓練 AMR 使用合成數據檢測倉庫托盤搬運車。托盤搬運車通常用于倉庫中提升和運輸重型托盤。在擁擠的倉庫中，AMR 檢測并避免與托盤搬運車碰撞非常重要。為了實現這一目標，我們需要在各種照明和遮擋條件下，使用大量多樣的數據來訓練人工智能模型。真實數據很少能夠捕捉到所有潛在的場景。合成數據生成 (SDG)，這是由 3D 模擬生成的注釋數據，使開發人員能夠克服數據缺口并引導模型訓練過程。這個用例將再次采用以數據為中心的方法，通過操縱數據，而不是更改模型參數來適應數據。

Source

]]>

借助 NVIDIA Isaac 平臺上的高級模擬和感知工具加速 AI 機器人開發

Wed, 18 Oct 2023 06:01:45 +0000

NVIDIA 于今日在 ROSCon 2023 發布了對 NVIDIA Isaac Robotics 平臺的重大更新。該平臺為全球機器人開發者提供高性能感知和高保真模擬。這些更新包括 NVIDIA Isaac ROS 2.0 和 NVIDIA Isaac Sim 2023.1，以及感知和模擬升級，可為 ROS 開發者簡化基于 AI 的高性能機器人應用的構建和測試。 “ROS 不斷發展壯大，為整個機器人開發社區提供開源軟件。” Open Source Robotics Foundation 表示，“新的 NVIDIA 預構建 ROS 2 軟件包在此版本中推出，將使 ROS 2 隨時可供廣大用戶使用，從而加速 NVIDIA Jetson 開發者社區的增長。” 隨著機器人向更高級別的自主性發展，以及各種傳感器技術的不斷擴散，CPU 受限處理的限制變得顯而易見。

Source

]]>

用 NVIDIA Isaac Sim 、 ROS 和 Nimbus 開發多機器人環境

Mon, 29 May 2023 05:37:11 +0000

隨著越來越多的自主機器人被部署在現實世界場景中，對高保真多機器人仿真環境的需求正在迅速增長。在這篇文章中，我將回顧我們過去在Cogniteam對于模擬多個機器人，我們目前的進展NVIDIA Isaac Sim，以及如何Nimbus可以加快 Isaac Sim 多機器人仿真的開發和維護。大約 20 年前，我在Cogniteam。我以一個用于多機器人任務分配和團隊合作的機器人框架的想法開始了我們的機器人開發生涯。最初被稱為 Cogni TAO ，該系統的簡化版本后來被發布為 ROS decision_making 當時，多個機器人的用例很少，這些機器人的 3D 模擬是不可能的。因此，我為虛幻錦標賽 2000-2004 年的游戲引擎編寫了一個 mod ，以實現四個機器人的模擬。我們由四名程序員組成的小團隊花了大約 3 年的時間來開發一個可以可靠運行 15 分鐘的模擬環境。

Source

]]>

使用 ROS 2 MoveIt 和 NVIDIA Isaac Sim 創建逼真的機器人模擬

Tue, 18 Apr 2023 03:16:49 +0000

MoveIt是一個機器人操縱平臺，融合了運動規劃、操縱、 3D 感知、運動學、控制和導航方面的最新進展。PickNik Robotics，領導 MoveIt 開發的公司，正在探索使用NVIDIA Isaac Sim在內部研發項目中。該項目的目標是提高對操縱的感知，并通過MoveIt Studio， PickNik 的商業機器人開發平臺，具有更自主的行為這篇文章向您展示了如何將 MoveIt 2 與 NVIDIA ISAAC Sim 中模擬的機器人集成。本教程需要一臺安裝了 ISAAC Sim 2022.2.0 的機器，以及如下所列的系統配置。請參閱 NVIDIAIsaac Sim documentation了解具體的安裝細節和要求要執行 MoveIt 計算的軌跡，我建議使用ros2_control用于管理和與您的機器人通信的框架，無論是真實的還是模擬的。建議使用這種方法，

Source

]]>

使用 NVIDIA Isaac ROS 開發人員預覽版 3 構建高性能機器人應用程序

Tue, 18 Apr 2023 03:11:56 +0000

機器人的復雜性正在增加，具有更高的自主性、更多的傳感器數量和多樣性，以及更多基于傳感器融合的算法。硬件加速對于運行這些日益復雜的工作負載至關重要，從而使機器人應用程序能夠以更高的速度和能效運行更大的工作負載。 NVIDIA Isaac ROS的使命一直致力于為 ROS 開發人員提供開發高性能、節能機器人應用所需的加速計算包和工具 NVIDIA 還在 ROS2 中開創了加速計算的先河，并在每個版本中不斷改進。在過去的兩年里，已經添加了 20 多個硬件加速 ROS 包，并支持最新的 ROS 2 分發。該團隊去年與 Open Robotics 合作，包括自適應和類型協商，以提高提供硬件加速器的計算平臺上的 ROS 性能。他們還實施了 ISAAC ROS 的適應和類型協商，稱為 NITROS (NVIDIA Isaac Transport for ROS).

Source

]]>

自主移動機器人的開源車隊管理工具

Wed, 19 Oct 2022 04:07:00 +0000

在 ROSCon 2022 上， NVIDIA 發布了最新的 Isaac ROS 軟件版本 Developer Preview （ DP ） 2 。該版本包括用于自主移動機器人（ AMR ）車隊的新的云和邊緣到機器人任務管理和監控軟件，以及 ROS 2 開發者的附加功能。 NVIDIA ISAAC ROS 由單個軟件包（ GEM ）和完整的流水線（ NITROS ）組成，可實現硬件加速性能。除了性能改進之外，新版本還添加了以下功能： Mission Dispatch 和 Client 為車隊管理系統和 ROS 2 機器人之間分配和跟蹤任務提供了一種標準的開源方式。調度和客戶端使用 VDA5050 進行通信，這是專為機器人車隊設計的開放式通信標準。消息通過 MQTT 無線傳輸，這是物聯網（ IoT ）應用的輕量級消息協議。任務調度是一種容器化微服務，

Source

]]>

使用 ROS 2 和 TAO-PointPillars 檢測點云中的對象

Fri, 30 Sep 2022 08:10:00 +0000

準確、快速的目標檢測是機器人導航和避碰的重要任務。自主代理需要一張清晰的周圍地圖，才能導航到目的地，同時避免碰撞。例如，在使用自主移動機器人（ AMR ）運輸物品的倉庫中，避免可能損壞機器人的危險機器已成為一個具有挑戰性的問題。本文介紹了一個 ROS 2 節點，用于使用基于 PointPillars 的 NVIDIA TAO Toolkit 預處理模型檢測點云中的對象。該節點將點云作為真實或模擬激光雷達掃描的輸入，執行 TensorRT 優化推斷以檢測該輸入數據中的對象，并將生成的 3D 邊界框作為每個點云的 Detection3DArray 消息輸出。雖然存在多個 ROS 節點用于從圖像中檢測目標，但從激光雷達輸入執行目標檢測的優點包括：通過使用激光雷達和相機的組合，可以使自主系統更加穩健。這是因為攝像機可以執行激光雷達無法執行的任務，例如檢測標志上的文字。

Source

]]>

使用 ISAAC Sim 加速 AI 機器人的開發、測試和培訓

Fri, 17 Jun 2022 03:17:00 +0000

今天， NVIDIA 宣布 2022.1 版 NVIDIA ISAAC Sim . 作為一種機器人仿真和合成數據生成（ SDG ）工具， NVIDIA Omniverse 應用程序加速了機器人領域人工智能的開發、測試和培訓。使用 ISAAC Sim ，開發人員可以生成生產質量數據集來訓練 AI 感知模型。開發人員還將能夠模擬機器人導航和操縱，并構建一個測試環境來不斷驗證機器人應用程序。最新版本通過 NVIDIA ISAACCortex（一種用于訓練協作機器人（COBOT）的決策框架）和GPU加速強化學習（RL）框架 ISAAC Gym（一種GPU加速強化學習）框架）等新工具，推進了人工智能機器人的時代。 NVIDIA ISAAC Replicator是一套合成數據生成工具、API和工作流，它也已更新了新功能，可以按程序為SDG生成工業環境。

Source

]]>

通過 NVIDIA ISAAC ROS 傳輸改善 ROS 2 應用的感知性能

Tue, 24 May 2022 04:25:00 +0000

自 2021 10 月以來， NVIDIA 和 Open Robotics 合作推出了兩項重要的更改，現已發布在簡陋的 ROS 2 版本中，以提高提供硬件加速器的計算平臺的性能。新的 ROS 2 簡易硬件加速特性稱為類型自適應和類型協商。 NVIDIA 將在下一次 NVIDIA ISAAC ROS 發布（ 2022 年 6 月底）中發布一個實現類型自適應和類型協商的軟件包。這些簡單但功能強大的框架添加將顯著提高開發人員的性能，這些開發人員希望將人工智能/機器學習和計算機視覺功能納入其基于 ROS 的應用程序中。 Open Robotics 首席執行官布萊恩·格基（ Brian Gerkey ）表示：“隨著 ROS 開發人員向其機器人應用程序添加更多的自主權，機器人上的計算機正變得更加強大。我們一直在努力改進 ROS 框架，

Source

]]>

為 ROS 設計具有 NVIDIA ISAAC 寶石的機器人

Mon, 25 Oct 2021 06:58:00 +0000

NVIDIA ISAAC GEMs for ROS 為您的 ROS2 應用程序提供了一套 GPU 加速包，提高了圖像處理和基于 DNN 的感知模型的吞吐量。這些 ROS2 軟件包是由 ROS2 Foxy 構建的，這是機器人社區推出的第一個長穩定版本（ LTS ）。這篇文章研究如何通過實現 NVIDIA ISAAC ROS GEMs 來加速機器人的部署。本文的重點是使用nanosaur檢測 AprilTags ，這是一種基于 NVIDIA Jetson 平臺的簡單開源機器人。在詳細介紹此應用程序之前，這里是 ROS 、 NVIDIA ISAAC GEMs 的歷史，以及 nanosaur 是如何構建的。 Willow Garage 于 2007 年開發了機器人操作系統（ ROS ）。 2012 次移交給新的開放機器人基金會是為了維護框架的發展。起初，

Source

]]>