機器人感知 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Wed, 09 Apr 2025 05:57:25 +0000 zh-CN hourly 1 196178272 利用最新的 NVIDIA Isaac 版本推進機器人學習、感知和操控技術 http://www.open-lab.net/zh-cn/blog/advancing-robot-learning-perception-and-manipulation-with-latest-nvidia-isaac-release/ Mon, 06 Jan 2025 06:33:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=12575 Continued]]> 在 CES 2025 上，NVIDIA 宣布了對 NVIDIA Isaac 的重要更新。NVIDIA Isaac 是一個由加速庫、應用框架和 AI 模型組成的平臺，可加速 AI 機器人的開發。 NVIDIA Isaac 簡化了從仿真到實際部署的機器人系統開發過程。在本文中，我們將討論 NVIDIA Isaac 的所有新進展： NVIDIA Isaac Sim 是一款基于 NVIDIA Omniverse 構建的參考應用，使您能夠在基于物理的虛擬環境中開發、模擬和測試 AI 驅動的機器人。 新的 Isaac Sim 4.5 將于 1 月底推出，將帶來一系列重大變化，包括： Isaac Sim 經過重新設計，是一款可定制的參考應用。用于加快啟動速度的最小模板和具有完整功能以及所有依賴項的完整模板。

Source

]]> 12575 使用新的 NVIDIA Isaac 基礎模型和工作流程創建、設計和部署機器人應用 http://www.open-lab.net/zh-cn/blog/create-design-and-deploy-robotics-applications-using-new-nvidia-isaac-foundation-models-and-workflows/ Sun, 02 Jun 2024 08:37:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=10246 Continued]]> 機器人在智能制造設施、商業廚房、醫院、倉庫物流和農業領域等不同環境中的應用正在迅速擴展。該行業正在向智能自動化轉變，這需要增強的機器人功能來執行感知、地圖構建、導航、負載處理、物體抓取和復雜的裝配任務等功能。 AI 在這一變革中發揮著關鍵作用，提高了機器人的性能。通過集成 NVIDIA AI 加速，機器人可以更高的精度和效率處理復雜的任務，在各種應用中充分發揮自己的潛力。 在 COMPUTEX，我們 宣布了一些新功能，可幫助機器人專家和工程師構建智能機器人。這些功能包括： AMR 和 AGV 對于裝配線效率、物料搬運和醫療健康物流至關重要。隨著這些機器人在復雜和非結構化環境中導航，感知周圍環境并作出反應的能力變得至關重要。 Isaac Perceptor，基于 NVIDIA Isaac 機器人操作系統 (ROS)，助力原始設備制造商 (OEM)、貨運服務提供商、

Source

]]> 10246 使用 NVIDIA Isaac ROS 為深度物體姿態估計訓練生成合成數據 http://www.open-lab.net/zh-cn/blog/generate-synthetic-data-for-deep-object-pose-estimation-training-with-nvidia-isaac-ros/ Thu, 18 Jan 2024 09:14:32 +0000 http://www.open-lab.net/zh-cn/blog/?p=8841 Continued]]> 機器人智能體要與環境中的物體進行交互，必須了解周圍物體的位置和方向。此信息描述了 3D 空間中剛體的六自由度 (DOF) 姿態，詳細說明了平移和旋轉狀態。 準確的姿態估計對于確定如何定位機械臂以特定方式抓取或放置物體至關重要。用例包括用于拾放操作的機器人操作，尤其適用于包裝箱、部件裝載和食品包裝等任務的倉庫場景。了解物體的姿態對于機器人對人類的切換也至關重要，在醫療健康、零售和家庭場景中也很有用。 NVIDIA 開發了深度物體姿態估計 (DOPE)，用于查找物體的六個 DOF 姿態。在本文中，我們將展示如何生成合成數據來訓練物體的 DOPE 模型。 DOPE 是由 NVIDIA 開發的一次性 DNN，可通過 RGB 圖像估算六個感興趣物體的自由度姿態，以實現機器人操作環境中的物體。它僅根據合成數據進行訓練，并且需要一個紋理 3D 模型。

Source

]]> 8841 使用適用于 ROS 的 NVIDIA Isaac Transport 提升自定義 ROS 圖形 http://www.open-lab.net/zh-cn/blog/boosting-custom-ros-graphs-using-nvidia-isaac-transport-for-ros/ Fri, 17 Nov 2023 05:08:37 +0000 http://www.open-lab.net/zh-cn/blog/?p=8302 Continued]]> 適用于 ROS 的 NVIDIA Isaac Transport（NITROS）是在 ROS 2 Humble 中引入的兩種硬件加速功能——類型適應和類型協商的實現。 類型適應 使 ROS 節點能夠以針對特定硬件加速器優化的數據格式工作。經過調整的類型用于處理圖形，以減少 CPU 和內存加速器之間的內存復制。 通過類型協商，不同的 ROS 節點可以在圖形中公布它們支持的類型，使得 ROS 框架能夠選擇合適的數據格式，從而實現最佳性能。 當兩個支持 NITROS 的 ROS 節點在一個圖形中相鄰時，它們可以通過類型協商發現彼此，然后使用類型適應來共享數據。類型適應和類型協商相結合，通過刪除不必要的內存拷貝，顯著提高了基于 ROS 的應用程序中 AI 和計算機視覺任務的性能。 這降低了 CPU 開銷，并優化了底層硬件的性能。

Source

]]> 8302 使用合成數據處理自動駕駛汽車感知 http://www.open-lab.net/zh-cn/blog/using-synthetic-data-to-address-novel-viewpoints-for-autonomous-vehicle-perception/ Mon, 13 Nov 2023 07:35:59 +0000 http://www.open-lab.net/zh-cn/blog/?p=8268 Continued]]> 自動駕駛汽車 (AV) 有各種形狀和大小，從小型客車到多軸半掛卡車不等。但是，部署在這些車輛上的感知算法必須經過訓練，以處理類似情況，例如避開障礙物或行人。 用于開發和驗證這些算法的數據集通常由一種類型的車輛收集，例如配備攝像頭、雷達、激光雷達和超聲波傳感器的轎車。 在車隊傳感器數據上訓練的感知算法可以在類似的傳感器配置上可靠地執行。但是，在使用不同傳感器配置的車輛上部署相同的算法時，感知性能會降低，因為它是從新的角度來看世界的。 要解決感知準確性方面的任何損失，需要測量深度神經網絡 (DNN) 對新傳感器位置的敏感度。使用靈敏度分析，可以從多個角度重新訓練感知算法，從而有針對性地提高可靠性。 但是，執行靈敏度分析和重新訓練感知都需要跨各種傳感器配置收集和標注數據集。這是一個耗時且成本高昂的過程。

Source

]]> 8268 借助 NVIDIA Isaac 平臺上的高級模擬和感知工具加速 AI 機器人開發 http://www.open-lab.net/zh-cn/blog/accelerate-ai-enabled-robotics-with-advanced-simulation-and-perception-tools-in-nvidia-isaac-platform/ Wed, 18 Oct 2023 06:01:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=8008 Continued]]> NVIDIA 于今日在 ROSCon 2023 發布了對 NVIDIA Isaac Robotics 平臺的重大更新。該平臺為全球機器人開發者提供高性能感知和高保真模擬。這些更新包括 NVIDIA Isaac ROS 2.0 和 NVIDIA Isaac Sim 2023.1，以及感知和模擬升級，可為 ROS 開發者簡化基于 AI 的高性能機器人應用的構建和測試。 “ROS 不斷發展壯大，為整個機器人開發社區提供開源軟件。” Open Source Robotics Foundation 表示，“新的 NVIDIA 預構建 ROS 2 軟件包在此版本中推出，將使 ROS 2 隨時可供廣大用戶使用，從而加速 NVIDIA Jetson 開發者社區的增長。” 隨著機器人向更高級別的自主性發展，以及各種傳感器技術的不斷擴散，CPU 受限處理的限制變得顯而易見。

Source

]]> 8008 為 NVIDIA Jetson 和其他嵌入式系統選擇合適的攝像頭 http://www.open-lab.net/zh-cn/blog/selecting-the-right-camera-for-the-nvidia-jetson-and-other-embedded-systems/ Tue, 12 Sep 2023 10:12:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=7868 Continued]]> 在基于人工智能的嵌入式系統中，攝像頭模塊是最不可或缺的部分。市場上有眾多的相機模塊可供選擇，這可能會讓選擇過程變得困難。這篇文章將幫助你理解如何為嵌入式應用程序做出正確的選擇，包括 NVIDIA Jetson。 相機模塊的選擇涉及三個關鍵方面：傳感器、接口（連接器）和光學。 兩種主要類型的電子圖像傳感器是電荷耦合器件（CCD）和有源像素傳感器（CMOS）。對于 CCD 傳感器，像素值只能按行讀取。每一行像素被一個接一個地移位到讀出寄存器中。對于 CMOS 傳感器，每個像素可以單獨讀取并并行讀取。 在大多數情況下，CMOS 在不犧牲圖像質量的情況下成本較低并且消耗較少的能量。由于像素值的并行讀出，它還可以實現更高的幀速率。然而，在某些特定情況下，CCD 傳感器仍然占主導地位——例如，當需要長時間曝光和需要非常低噪聲的圖像時，例如在天文學中。

Source

]]> 7868 人人超碰97caoporen国产