Isaac Sim – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Tue, 17 Jun 2025 07:38:55 +0000 zh-CN hourly 1 196178272 使用世界基礎模型生成的合成軌跡數據提高機器人學習效果 http://www.open-lab.net/zh-cn/blog/enhance-robot-learning-with-synthetic-trajectory-data-generated-by-world-foundation-models/ Mon, 16 Jun 2025 07:17:01 +0000 http://www.open-lab.net/zh-cn/blog/?p=14215 Continued]]> 在機電一體化和機器人 AI 基礎模型的進步的推動下，通用型機器人技術已經問世。但關鍵的瓶頸依然存在：機器人需要大量的訓練數據來訓練裝配和檢查等技能，而且手動演示不可擴展。NVIDIA Isaac GR00T-Dreams 藍圖基于 NVIDIA Cosmos 構建，只需一個圖像和語言提示即可生成大量合成軌跡數據，從而應對這一挑戰。 借助 Cosmos 世界基礎模型 (WFMs) 和生成式 AI，開發者可以快速為 NVIDIA Isaac GR00T N1.5 等模型創建訓練數據。 本文將介紹 Isaac GR00T-Dreams 藍圖，詳細介紹其高級功能及其在開發 Isaac GR00T N1.5 基礎模型中發揮的作用。 Isaac GR00T-Dreams 藍圖是一個用于生成大量合成軌跡數據的參考工作流。這些數據用于教人形機器人在新環境中執行新動作。

Source

]]> 14215 Isaac Sim 和 Isaac Lab 現已推出早期開發者預覽版 http://www.open-lab.net/zh-cn/blog/isaac-sim-and-isaac-lab-are-now-available-for-early-developer-preview/ Mon, 16 Jun 2025 07:08:49 +0000 http://www.open-lab.net/zh-cn/blog/?p=14212 Continued]]> NVIDIA 今天發布了 NVIDIA Isaac Sim 和 NVIDIA Isaac Lab 的開發者預覽版 — — 參考機器人仿真和學習框架。這些版本現已在 GitHub 上推出，可讓您搶先體驗先進功能，以便在基于物理的仿真環境中構建、訓練和測試 AI 機器人。 Isaac Sim 是一款基于 NVIDIA Omniverse 構建的參考應用，支持用戶在基于物理的仿真環境中開發、仿真和測試 AI 驅動的機器人。Isaac Sim 5.0 的主要更新包括： 開源可用性 Isaac Sim 專用的擴展程序正在一個新的公共 Github 存儲庫中開源，這將允許用戶構建和運行 Isaac Sim。此資源庫將作為社區的搶先體驗版，通過公共開發分支提供新功能的訪問權限。請注意，Omniverse Kit 的組件仍處于封源狀態，目前不接受外部貢獻。

Source

]]> 14212 使用 NVIDIA Isaac Lab 為工業機器人裝配應用彌合仿真與現實之間的差距 http://www.open-lab.net/zh-cn/blog/bridging-the-sim-to-real-gap-for-industrial-robotic-assembly-applications-using-nvidia-isaac-lab/ Tue, 20 May 2025 04:57:56 +0000 http://www.open-lab.net/zh-cn/blog/?p=13918 Continued]]> 多個部件的組裝在幾乎每個主要行業 (如制造、汽車、航空航天、電子和醫療設備) 中都發揮著關鍵作用。盡管機器人組裝應用廣泛，但它仍然是一項重大挑戰。它涉及復雜的交互，機器人必須通過持續的物理接觸來操縱物體，這需要較高的精度和準確性。如今的機器人裝配系統長期以來一直受到固定自動化的限制。這些系統專為需要大量人工設計和部署的特定任務而構建，限制了其適應性和可擴展性。 機器人裝配的未來在于靈活的自動化。未來的機器人必須快速適應新的部件、姿勢和環境。將 機器人技術與仿真和 AI 集成 可以突破這些限制。多年來，NVIDIA 一直在 推進這一領域的研究 ，我們與 Universal Robots (UR) 的持續合作正在推動這一從研究創新到現實世界工業應用的轉型。 在本文中，我們展示了 UR10e 機器人上齒輪組件任務的 零樣本仿真到現實傳輸 。

Source

]]> 13918 NVIDIA Isaac Sim 和 NVIDIA Isaac Lab 即將新增高級傳感器物理特性、自定義和模型基準測試功能 http://www.open-lab.net/zh-cn/blog/advanced-sensor-physics-customization-and-model-benchmarking-coming-to-nvidia-isaac-sim-and-nvidia-isaac-lab/ Sun, 18 May 2025 06:24:36 +0000 http://www.open-lab.net/zh-cn/blog/?p=13947 Continued]]> 在 COMPUTEX 2025 上，NVIDIA 宣布對其機器人仿真參考應用 NVIDIA Isaac Sim 和機器人學習框架 NVIDIA Isaac Lab 進行新的更新，以加速開發各種具體化的機器人。 Isaac Sim 和 Lab 將完全兼容 NVIDIA RTX PRO 6000 工作站和服務器，為訓練中的每個機器人開發工作負載提供單一架構， 合成數據生成 、 機器人學習 ，以及 模擬 。 在本文中，我們將進一步探討將于今年第二季度推出的 Isaac Sim 和 Isaac Lab 的新功能，以及這些更新如何加速機器人工作流程。 新的 Isaac Sim 基于 NVIDIA Omniverse 和 OpenUSD 構建，將是開放和可定制的，通過 NVIDIA Launchable 加快開發速度，并支持先進的合成數據生成流程，

Source

]]> 13947 光輪智能利用 NVIDIA GR00T N1 人形機器人模型落地汽車工廠生產應用 http://www.open-lab.net/zh-cn/blog/lightwheel-nvidia-gr00t-n1/ Wed, 14 May 2025 09:02:13 +0000 http://www.open-lab.net/zh-cn/blog/?p=13860 Continued]]> 光輪智能成功將 NVIDIA GR00T N1 人形機器人基礎模型部署至汽車制造生產線，這一成果標志著具身智能在工業自動化領域的重大突破以及應用潛力。 此次部署，是 GR00T N1 人形機器人基礎模型在行業場景的首次應用實例。光輪智能合成數據技術在應用中發揮了關鍵作用，有效解決了具身智能訓練中的數據稀缺挑戰。兩者合作為具身智能進入智能制造樹立了新范式。 作為全球首個通用人形機器人開源基礎模型，GR00T N1 是此次合作的技術基礎。該模型能夠流暢處理文本指令與圖像等多模態輸入，輸出機器人動作指令，展現出跨實體、跨任務泛化能力。 GR00T N1 的獨特優勢源于其創新的雙系統架構：視覺-語言模型系統負責環境理解和動作規劃，而 Diffusion Transformer 系統則將這些規劃無縫轉化為具體的機器人動作指令。這種受人類認知原理啟發的架構設計，

Source

]]> 13860 R2D2：利用 NVIDIA 研究工作流程和模型提升靈巧機器人的適應性 http://www.open-lab.net/zh-cn/blog/r%c2%b2d%c2%b2-adapting-dexterous-robots-with-nvidia-research-workflows-and-models/ Fri, 25 Apr 2025 09:04:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=13681 Continued]]> 如今，Robotic arms 用于組裝、包裝、檢查等更多應用領域。但是，它們仍然經過預編程，可以執行特定的、通常是重復性的任務。為了滿足大多數環境中日益增長的適應性需求， perceptive arms 需要根據實時數據做出決策和調整行為。這提高了協作環境中任務的靈活性，并通過危險感知提高安全性。 本期 NVIDIA Robotics Research and Development Digest (R2 D2 ) 探討了 NVIDIA Research 的一些機器人靈活性、操作和抓取工作流以及 AI 模型 (如下所示) ，以及它們如何應對適應能力和數據稀缺等關鍵機器人挑戰： 靈巧的機器人能夠精準、高效地操控物體。機器人的靈活性涉及精細的運動控制、協調，以及通常在非結構化環境中處理各種任務的能力。機器人靈活性的關鍵方面包括抓握、操控、觸覺敏感度、

Source

]]> 13681 使用 NVIDIA NIM 管理科學文獻中的生物研究成果 http://www.open-lab.net/zh-cn/blog/curating-biological-findings-from-scientific-literature-with-nvidia-nim/ Fri, 11 Apr 2025 06:07:31 +0000 http://www.open-lab.net/zh-cn/blog/?p=13499 Continued]]> 科學論文多種多樣，通常為同一實體使用不同的術語，使用不同的方法來研究生物現象，并在不同的上下文中展示研究結果。從這些論文中提取有意義的見解需要對生物學的深刻理解、對方法的批判性評估，以及從不相關或不太可靠的發現中辨別出可靠發現的能力。 科學家必須仔細解釋上下文，評估實驗證據的可靠性，并識別研究中潛在的偏見或局限性。鑒于支持疾病建模中關鍵決策的高精度需求，生物學發現必須僅包含高質量的知識。 大語言模型 (LLM) 在集成到 檢索增強生成 (RAG) 流程中時，為自動化和加速生物發現的管理提供了顛覆性的機會。通過優化從科學論文中提取見解的過程，LLM 顯著提高了這一過程的可擴展性。這些語言模型可以篩選的論文數量遠超任何個人可以手動審查的論文，并發現了更多的相關發現。 CytoReason 團隊是 NVIDIA Inception 計劃的成員，

Source

]]> 13499 R2D2：利用 NVIDIA 研究中心的新型工作流和 AI 基礎模型，提升機器人的移動和全身控制能力 http://www.open-lab.net/zh-cn/blog/r2d2-advancing-robot-mobility-whole-body-control-with-ai-from-nvidia-research/ Thu, 27 Mar 2025 05:47:44 +0000 http://www.open-lab.net/zh-cn/blog/?p=13416 Continued]]> 歡迎閱讀首期“NVIDIA 機器人研究與開發摘要（R²D²）”。此技術博客系列將讓開發者和研究人員更深入地了解 NVIDIA 各個研究實驗室在物理 AI 和機器人領域的最新研究突破。 開發強大的機器人面臨著諸多重大挑戰，例如： 我們通過在自身平臺上經過驗證的先進研究來應對這些挑戰。我們的方法將前沿研究與工程工作流相結合，并在我們的 AI 和機器人平臺（包括 NVIDIA Omniverse、Cosmos、Isaac Sim 和 Isaac Lab）上進行測試。最終生成的模型、策略和數據集可作為研究人員和開發者社區的可定制參考，以適應特定的機器人開發需求。我們期待分享我們的研究成果，共同構建機器人技術的未來。 在本期 R²D² 中，您將了解以下機器人移動及全身控制的工作流及模型，以及它們如何應對機器人導航、移動和控制方面的關鍵挑戰：

Source

]]> 13416 人形機器人學習的合成運動生成管道構建 http://www.open-lab.net/zh-cn/blog/building-a-synthetic-motion-generation-pipeline-for-humanoid-robot-learning/ Tue, 18 Mar 2025 08:09:16 +0000 http://www.open-lab.net/zh-cn/blog/?p=12587 Continued]]> 通用人形機器人需要能夠快速適應現有的以人類為中心的城市和工業工作空間，處理繁瑣、重復或體力要求高的任務。這些移動機器人經過設計，能在以人類為中心的環境中有出色的表現，從工廠車間到醫療醫療機構，它們的價值日益凸顯。 模仿學習是機器人學習的一個子集，它能讓人形機器人通過觀察和模仿人類專家的示范來獲取新技能，這些演示可以來自遠程操作演示中的人類真實視頻，也可以來自仿真數據。模仿學習使用已標記的數據集，有利于在難以編程定義的不同環境中教授機器人復雜動作。 雖然錄制演示可能比指定獎勵策略更簡單，但創建完美的演示可能具有挑戰性，并且機器人可能難以應對一些未曾預見的情況。在真實世界中收集廣泛、高質量的數據集既繁瑣又耗時，而且成本往往高得令人卻步。但是，從物理精確的仿真環境中生成的合成數據，有助于加快數據收集過程。 用于合成運動生成的 NVIDIA Isaac GR00T…

Source

]]> 12587 構建人形機器人學習的合成運動生成流程 http://www.open-lab.net/zh-cn/blog/building-a-synthetic-motion-generation-pipeline-for-humanoid-robot-learning-2/ Tue, 18 Mar 2025 05:10:29 +0000 http://www.open-lab.net/zh-cn/blog/?p=13317 Continued]]> 通用人形機器人需要能夠快速適應現有的以人類為中心的城市和工業工作空間，處理繁瑣、重復或體力要求高的任務。這些移動機器人經過設計，能在以人類為中心的環境中有出色的表現，從工廠車間到醫療醫療機構，它們的價值日益凸顯。 模仿學習是機器人學習的一個子集，它能讓人形機器人通過觀察和模仿人類專家的示范來獲取新技能，這些演示可以來自遠程操作演示中的人類真實視頻，也可以來自仿真數據。模仿學習使用已標記的數據集，有利于在難以編程定義的不同環境中教授機器人復雜動作。 雖然錄制演示可能比指定獎勵策略更簡單，但創建完美的演示可能具有挑戰性，并且機器人可能難以應對一些未曾預見的情況。在真實世界中收集廣泛、高質量的數據集既繁瑣又耗時，而且成本往往高得令人卻步。但是，從物理精確的仿真環境中生成的合成數據，有助于加快數據收集過程。 用于合成運動生成的 NVIDIA Isaac GR00T…

Source

]]> 13317 加速通用人形機器人的開發：NVIDIA Isaac GR00T N1 http://www.open-lab.net/zh-cn/blog/accelerate-generalist-humanoid-robot-development-with-nvidia-isaac-gr00t-n1/ Tue, 18 Mar 2025 04:57:31 +0000 http://www.open-lab.net/zh-cn/blog/?p=13314 Continued]]> 人形機器人需要能夠適應人類工作空間，處理重復性或高強度任務。然而，為真實世界的任務和不可預測的環境創建通用人形機器人是一項挑戰。通常來說，這些任務中的每一個都需要一個專用的 AI 模型。由于需要大量特定于任務的數據、高昂的計算成本，且模型的泛化能力有限，針對每一個新的任務和環境，從零開始訓練這些模型是一個非常繁瑣的過程。 NVIDIA Isaac GR00T 通過提供開源的 SimReady 數據、仿真框架（如 NVIDIA Isaac Sim 和 Isaac Lab）、合成數據藍圖和預訓練基礎模型，能夠幫助解決這些挑戰并加速通用人形機器人的開發。 NVIDIA Isaac GR00T N1 的特點和優勢 NVIDIA Isaac GR00T N1 是世界上首個用于通用人形機器人推理和技能的開源基礎模型。這個跨實體模型接受包括語言和圖像在內的多模態輸入，

Source

]]> 13314 使用 OpenUSD 實現模塊化和可擴展的機器人仿真和開發 http://www.open-lab.net/zh-cn/blog/using-openusd-for-modular-and-scalable-robotic-simulation-and-development/ Tue, 18 Mar 2025 04:25:42 +0000 http://www.open-lab.net/zh-cn/blog/?p=13305 Continued]]> 在 物理 AI 飛速發展的推動下 ，機器人領域正在經歷重大變革。這一演變加快了新機器人解決方案的上市時間，增強了人們對其安全能力的信心，并有助于 為工廠和倉庫中的物理 AI 提供動力支持 。 在 GTC 上宣布推出的 Newton 是一款開源、可擴展的物理引擎，由 NVIDIA、Google DeepMind 和 Disney Research 共同開發，旨在推動機器人學習和開發。 NVIDIA Cosmos 作為基于開放模型許可的世界基礎模型 (WFM) 平臺推出，旨在加速自動駕駛汽車和機器人等自主機器的物理 AI 開發。 最新發布的 NVIDIA Omniverse Kit SDK 107 是機器人應用的另一個重要里程碑。它升級到 OpenUSD 版本 24.05，同時更新了 Python、C++和 Linux ABI。NVIDIA Isaac Sim 5.0…

Source

]]> 13305 使用 NVIDIA AI Blueprint 構建實時多模態 XR 應用以進行視頻搜索和摘要 http://www.open-lab.net/zh-cn/blog/build-real-time-multimodal-xr-apps-with-nvidia-ai-blueprint-for-video-search-and-summarization/ Tue, 11 Mar 2025 06:43:16 +0000 http://www.open-lab.net/zh-cn/blog/?p=13357 Continued]]> 隨著 生成式 AI 和視覺基礎模型的最新進展，VLM 呈現了新一波視覺計算浪潮，其中模型能夠實現高度復雜的感知和深度上下文理解。這些智能解決方案為增強 XR 設置中的語義理解提供了一種很有前景的方法。通過集成 VLM，開發者可以顯著改進 XR 應用解釋用戶操作以及與用戶操作交互的方式，使其響應速度更快、更直觀。 本文將向您介紹如何利用 NVIDIA AI Blueprint 進行視頻搜索和摘要 ，以及如何增強 Blueprint 以支持 XR 環境中的音頻。我們介紹了實時語音識別和沉浸式交互的分步過程——從設置環境到無縫集成。 借助對話式 AI 功能增強 XR 應用，為用戶帶來更加身臨其境的體驗。通過創建在 XR 環境中提供 Q&A 功能的生成式 AI 智能體，用戶可以更自然地進行交互并獲得即時幫助。多模態 AI 智能體處理并合成多種輸入模式，例如視覺數據 (例如 XR…

Source

]]> 13357 NVIDIA Isaac Perceptor Anywhere MSA 校準指南 http://www.open-lab.net/zh-cn/blog/how-to-calibrate-sensors-with-msa-calibration-anywhere-for-nvidia-isaac-perceptor/ Tue, 22 Oct 2024 05:53:35 +0000 http://www.open-lab.net/zh-cn/blog/?p=11710 Continued]]> 多模態傳感器校準對于實現機器人、自動駕駛汽車、地圖構建和其他感知驅動應用的傳感器融合至關重要。傳統的校準方法依賴于帶有棋盤格或目標的結構化環境，復雜、昂貴、耗時且無法擴展。 Main Street Autonomy Calibration Anywhere 軟件是一種可簡化校準問題的自動傳感器校準解決方案。Main Street Autonomy 是一家采用先進技術為機器人和自動駕駛汽車領域提供傳感器校準、本地化和地圖解決方案的自動駕駛軟件和服務公司。 在本博文中，您將學習如何使用 Calibration Anywhere 解決方案生成可集成到 NVIDIA Isaac Perceptor 工作流程中的校準文件。Isaac Perceptor 基于 NVIDIA Isaac ROS 構建，是 NVIDIA 加速庫和 AI 模型的參考工作流程，

Source

]]> 11710 ROS 2 和 NVIDIA Isaac Sim 機器人模擬與測試入門指南 http://www.open-lab.net/zh-cn/blog/a-beginners-guide-to-simulating-and-testing-robots-with-ros-2-and-nvidia-isaac-sim/ Tue, 22 Oct 2024 05:48:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=11707 Continued]]> 物理 AI 賦能的機器人 需要在物理世界中自主感知、規劃和執行復雜任務，其中包括在動態和不可預測的環境中安全、高效地運輸和操控物體。 借助機器人仿真，開發者可以通過虛擬機器人學習和測試來訓練、模擬和驗證這些先進的系統。在部署之前，這一切都發生在基于物理的數字環境表示中，如倉庫和工廠。 在本文中，我們將向您展示如何利用 ROS 2 軟件包和 NVIDIA Isaac Sim (基于 NVIDIA Omniverse 平臺構建的參考應用) 來模擬和驗證機器人堆棧。我們還將討論 NVIDIA Isaac Sim 可以為 AI 機器人解鎖的用例。 Isaac Sim 基于 Universal Scene Description (USD) 構建，后者是 Isaac Sim 中用于仿真的基礎框架。作為開發者，您可以使用 Isaac Sim 輕松高效地設計、導入、

Source

]]> 11707 人人超碰97caoporen国产