機器人學 – NVIDIA 技術博客
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 22 May 2025 07:50:52 +0000
zh-CN
hourly
1
196178272 -
使用 NVIDIA Isaac Lab 為工業機器人裝配應用彌合仿真與現實之間的差距
Tue, 20 May 2025 04:57:56 +0000
http://www.open-lab.net/zh-cn/blog/?p=13918
Continued]]>
多個部件的組裝在幾乎每個主要行業 (如制造、汽車、航空航天、電子和醫療設備) 中都發揮著關鍵作用。盡管機器人組裝應用廣泛，但它仍然是一項重大挑戰。它涉及復雜的交互，機器人必須通過持續的物理接觸來操縱物體，這需要較高的精度和準確性。如今的機器人裝配系統長期以來一直受到固定自動化的限制。這些系統專為需要大量人工設計和部署的特定任務而構建，限制了其適應性和可擴展性。 機器人裝配的未來在于靈活的自動化。未來的機器人必須快速適應新的部件、姿勢和環境。將 機器人技術與仿真和 AI 集成 可以突破這些限制。多年來，NVIDIA 一直在 推進這一領域的研究 ，我們與 Universal Robots (UR) 的持續合作正在推動這一從研究創新到現實世界工業應用的轉型。 在本文中，我們展示了 UR10e 機器人上齒輪組件任務的 零樣本仿真到現實傳輸 。
Source
]]>
13918
-
利用 NVIDIA Cosmos Reason 整理合成數據集以訓練物理 AI 模型
Sun, 18 May 2025 06:30:51 +0000
http://www.open-lab.net/zh-cn/blog/?p=13952
Continued]]>
AI 系統如何理解可能發生的事故與物理上不可能發生的事件之間的區別？還是計劃在邊緣場景中進行跨人類、物體和環境的多步驟交互？這些都是物理智能的核心問題，是機器人如何操控世界、 自動駕駛汽車 如何瞬間做出決策以及虛擬智能體如何模擬現實的基礎。 NVIDIA Cosmos Reason 是 物理 AI 的世界基礎模型 (WFM) ，構建該模型不僅是為了觀察事物，也是為了推理。它經過訓練，能夠理解空間、時間和物理特性，可以 批判合成數據 并構建精心策劃的數據集，以訓練機器人和自動駕駛汽車等具身 AI 系統，使其行動更加逼真。本文將介紹 Cosmos Reason 的開發方式、使用位置，以及如何使用公開可用的模型檢查點和腳本來運行物理 AI 任務的模型。 Cosmos 是一個 WFM 開發平臺。Cosmos WFM 是預訓練的多模態模型，旨在理解世界狀態并將其生成為視頻，
Source
]]>
13952
-
NVIDIA Isaac Sim 和 NVIDIA Isaac Lab 即將新增高級傳感器物理特性、自定義和模型基準測試功能
Sun, 18 May 2025 06:24:36 +0000
http://www.open-lab.net/zh-cn/blog/?p=13947
Continued]]>
在 COMPUTEX 2025 上，NVIDIA 宣布對其機器人仿真參考應用 NVIDIA Isaac Sim 和機器人學習框架 NVIDIA Isaac Lab 進行新的更新，以加速開發各種具體化的機器人。 Isaac Sim 和 Lab 將完全兼容 NVIDIA RTX PRO 6000 工作站和服務器，為訓練中的每個機器人開發工作負載提供單一架構， 合成數據生成 、 機器人學習 ，以及 模擬 。 在本文中，我們將進一步探討將于今年第二季度推出的 Isaac Sim 和 Isaac Lab 的新功能，以及這些更新如何加速機器人工作流程。 新的 Isaac Sim 基于 NVIDIA Omniverse 和 OpenUSD 構建，將是開放和可定制的，通過 NVIDIA Launchable 加快開發速度，并支持先進的合成數據生成流程，
Source
]]>
13947
-
R2D2：通過 NVIDIA Research 解鎖機器人裝配和豐富的接觸操作
Fri, 16 May 2025 06:45:13 +0000
http://www.open-lab.net/zh-cn/blog/?p=13961
Continued]]>
本期 NVIDIA 機器人研發摘要 (R2D2) 探討了 NVIDIA Research 針對機器人裝配任務提供的多個接觸性豐富的操作工作流，以及它們如何通過固定自動化來應對魯棒性、適應性和可擴展性等關鍵挑戰。 接觸性豐富的操作是指涉及機器人與其環境中的物體之間持續或重復物理接觸的機器人任務，需要精確控制力和運動。與簡單的拾取和放置操作不同，這些任務需要精細交互來管理不確定性下的摩擦、合規性和對齊。 它在 機器人 、 制造 和 汽車 等行業中發揮著關鍵作用，在這些行業中，插入定位器、合齒輪、螺紋螺栓或組裝卡扣配合部件等任務很常見。作為機器人裝配的核心能力，具有豐富接觸性的操作使機器人能夠執行復雜的高精度任務，這對于自動化裝配和處理現實世界的可變性至關重要。 由于需要在動態環境中進行精確操作，因此解決機器人裝配任務一直具有挑戰性。傳統上，
Source
]]>
13961
-
R2D2：利用 NVIDIA 研究工作流程和模型提升靈巧機器人的適應性
Fri, 25 Apr 2025 09:04:34 +0000
http://www.open-lab.net/zh-cn/blog/?p=13681
Continued]]>
如今，Robotic arms 用于組裝、包裝、檢查等更多應用領域。但是，它們仍然經過預編程，可以執行特定的、通常是重復性的任務。為了滿足大多數環境中日益增長的適應性需求， perceptive arms 需要根據實時數據做出決策和調整行為。這提高了協作環境中任務的靈活性，并通過危險感知提高安全性。 本期 NVIDIA Robotics Research and Development Digest (R2 D2 ) 探討了 NVIDIA Research 的一些機器人靈活性、操作和抓取工作流以及 AI 模型 (如下所示) ，以及它們如何應對適應能力和數據稀缺等關鍵機器人挑戰： 靈巧的機器人能夠精準、高效地操控物體。機器人的靈活性涉及精細的運動控制、協調，以及通常在非結構化環境中處理各種任務的能力。機器人靈活性的關鍵方面包括抓握、操控、觸覺敏感度、
Source
]]>
13681
-
使用 NVIDIA NIM 管理科學文獻中的生物研究成果
Fri, 11 Apr 2025 06:07:31 +0000
http://www.open-lab.net/zh-cn/blog/?p=13499
Continued]]>
科學論文多種多樣，通常為同一實體使用不同的術語，使用不同的方法來研究生物現象，并在不同的上下文中展示研究結果。從這些論文中提取有意義的見解需要對生物學的深刻理解、對方法的批判性評估，以及從不相關或不太可靠的發現中辨別出可靠發現的能力。 科學家必須仔細解釋上下文，評估實驗證據的可靠性，并識別研究中潛在的偏見或局限性。鑒于支持疾病建模中關鍵決策的高精度需求，生物學發現必須僅包含高質量的知識。 大語言模型 (LLM) 在集成到 檢索增強生成 (RAG) 流程中時，為自動化和加速生物發現的管理提供了顛覆性的機會。通過優化從科學論文中提取見解的過程，LLM 顯著提高了這一過程的可擴展性。這些語言模型可以篩選的論文數量遠超任何個人可以手動審查的論文，并發現了更多的相關發現。 CytoReason 團隊是 NVIDIA Inception 計劃的成員，
Source
]]>
13499
-
工業設施數字孿生中的機器人仿真
Mon, 31 Mar 2025 08:20:44 +0000
http://www.open-lab.net/zh-cn/blog/?p=13443
Continued]]>
工業企業正在采用 物理 AI 和自主系統來實現運營轉型。這涉及在工廠和倉庫中部署異構機器人車隊，包括移動機器人、 人形助手 、智能攝像頭和 AI 智能體。 為了充分利用這些支持物理 AI 的系統的全部潛力，公司依賴于其設施的 數字孿生 ，即用于模擬和優化自主系統交互方式以及執行復雜任務的虛擬環境。這種 simulation-first 方法使企業能夠在實際部署之前驗證其機器人車隊是否能夠在動態環境中進行協調和適應，從而加速向真正自主的工業運營過渡。 借助 Mega NVIDIA Omniverse Blueprint ，企業能夠加速物理 AI 在工廠、倉庫和工業設施中的開發和部署。 該工作流使開發者能夠利用 傳感器仿真 和 合成數據生成 來模擬復雜的自主操作，并在實際部署之前驗證 工業數字孿生 中物理 AI 系統的性能。 本文將介紹該藍圖的組件，
Source
]]>
13443
-
R2D2：利用 NVIDIA 研究中心的新型工作流和 AI 基礎模型，提升機器人的移動和全身控制能力
Thu, 27 Mar 2025 05:47:44 +0000
http://www.open-lab.net/zh-cn/blog/?p=13416
Continued]]>
歡迎閱讀首期“NVIDIA 機器人研究與開發摘要（R²D²）”。此技術博客系列將讓開發者和研究人員更深入地了解 NVIDIA 各個研究實驗室在物理 AI 和機器人領域的最新研究突破。 開發強大的機器人面臨著諸多重大挑戰，例如： 我們通過在自身平臺上經過驗證的先進研究來應對這些挑戰。我們的方法將前沿研究與工程工作流相結合，并在我們的 AI 和機器人平臺（包括 NVIDIA Omniverse、Cosmos、Isaac Sim 和 Isaac Lab）上進行測試。最終生成的模型、策略和數據集可作為研究人員和開發者社區的可定制參考，以適應特定的機器人開發需求。我們期待分享我們的研究成果，共同構建機器人技術的未來。 在本期 R²D² 中，您將了解以下機器人移動及全身控制的工作流及模型，以及它們如何應對機器人導航、移動和控制方面的關鍵挑戰：
Source
]]>
13416
-
使用 NVIDIA Holoscan 3.0 中的動態流控制輕松構建邊緣 AI 應用
Thu, 20 Mar 2025 08:20:15 +0000
http://www.open-lab.net/zh-cn/blog/?p=13248
Continued]]>
NVIDIA 在 GTC 2025 上宣布推出實時 AI 傳感器處理平臺 NVIDIA Holoscan 3.0 。這個最新版本提供動態流控制，使開發者能夠設計更強大、更可擴展和更高效的系統。隨著 物理 AI 的快速發展 ，Holoscan 3.0 專為適應而構建，使其能夠比以往更輕松地應對當今動態環境的挑戰。 無論您使用的是醫學成像、機器人還是工業傳感器，Holoscan 3.0 都可以更輕松地在邊緣高效處理 AI 工作負載。本文將介紹 Holoscan 3.0 版本中的更新和功能，包括： NVIDIA Holoscan 3.0 引入了 NVIDIA Holoscan SDK 的重大升級，具有動態流控制。借助此功能，您現在可以在運行時修改工作流中的 operator 連接，從而實現更靈活、更具適應性的工作流。與使用固定連接的傳統靜態管道不同，此功能支持動態路由、
Source
]]>
13248
-
人形機器人學習的合成運動生成管道構建
Tue, 18 Mar 2025 08:09:16 +0000
http://www.open-lab.net/zh-cn/blog/?p=12587
Continued]]>
通用人形機器人需要能夠快速適應現有的以人類為中心的城市和工業工作空間，處理繁瑣、重復或體力要求高的任務。這些移動機器人經過設計，能在以人類為中心的環境中有出色的表現，從工廠車間到醫療醫療機構，它們的價值日益凸顯。 模仿學習是機器人學習的一個子集，它能讓人形機器人通過觀察和模仿人類專家的示范來獲取新技能，這些演示可以來自遠程操作演示中的人類真實視頻，也可以來自仿真數據。模仿學習使用已標記的數據集，有利于在難以編程定義的不同環境中教授機器人復雜動作。 雖然錄制演示可能比指定獎勵策略更簡單，但創建完美的演示可能具有挑戰性，并且機器人可能難以應對一些未曾預見的情況。在真實世界中收集廣泛、高質量的數據集既繁瑣又耗時，而且成本往往高得令人卻步。但是，從物理精確的仿真環境中生成的合成數據，有助于加快數據收集過程。 用于合成運動生成的 NVIDIA Isaac GR00T…
Source
]]>
12587
-
構建人形機器人學習的合成運動生成流程
Tue, 18 Mar 2025 05:10:29 +0000
http://www.open-lab.net/zh-cn/blog/?p=13317
Continued]]>
通用人形機器人需要能夠快速適應現有的以人類為中心的城市和工業工作空間，處理繁瑣、重復或體力要求高的任務。這些移動機器人經過設計，能在以人類為中心的環境中有出色的表現，從工廠車間到醫療醫療機構，它們的價值日益凸顯。 模仿學習是機器人學習的一個子集，它能讓人形機器人通過觀察和模仿人類專家的示范來獲取新技能，這些演示可以來自遠程操作演示中的人類真實視頻，也可以來自仿真數據。模仿學習使用已標記的數據集，有利于在難以編程定義的不同環境中教授機器人復雜動作。 雖然錄制演示可能比指定獎勵策略更簡單，但創建完美的演示可能具有挑戰性，并且機器人可能難以應對一些未曾預見的情況。在真實世界中收集廣泛、高質量的數據集既繁瑣又耗時，而且成本往往高得令人卻步。但是，從物理精確的仿真環境中生成的合成數據，有助于加快數據收集過程。 用于合成運動生成的 NVIDIA Isaac GR00T…
Source
]]>
13317
-
加速通用人形機器人的開發：NVIDIA Isaac GR00T N1
Tue, 18 Mar 2025 04:57:31 +0000
http://www.open-lab.net/zh-cn/blog/?p=13314
Continued]]>
人形機器人需要能夠適應人類工作空間，處理重復性或高強度任務。然而，為真實世界的任務和不可預測的環境創建通用人形機器人是一項挑戰。通常來說，這些任務中的每一個都需要一個專用的 AI 模型。由于需要大量特定于任務的數據、高昂的計算成本，且模型的泛化能力有限，針對每一個新的任務和環境，從零開始訓練這些模型是一個非常繁瑣的過程。 NVIDIA Isaac GR00T 通過提供開源的 SimReady 數據、仿真框架（如 NVIDIA Isaac Sim 和 Isaac Lab）、合成數據藍圖和預訓練基礎模型，能夠幫助解決這些挑戰并加速通用人形機器人的開發。 NVIDIA Isaac GR00T N1 的特點和優勢 NVIDIA Isaac GR00T N1 是世界上首個用于通用人形機器人推理和技能的開源基礎模型。這個跨實體模型接受包括語言和圖像在內的多模態輸入，
Source
]]>
13314
-
使用 NVIDIA Cosmos 世界基礎模型擴展合成數據和物理 AI 推理
Tue, 18 Mar 2025 04:49:04 +0000
http://www.open-lab.net/zh-cn/blog/?p=13311
Continued]]>
人形機器人和自動駕駛汽車等新一代 AI 機器人依賴于高保真、物理感知的訓練數據 。如果沒有多樣化且具有代表性的數據集，這些系統將無法獲得適當的訓練，并且由于泛化性差、對現實世界變化的影響有限以及邊緣案例中的行為不可預測，因此會面臨測試風險。收集大量真實數據集進行訓練成本高昂、耗時費力，而且往往受限于各種可能性。 NVIDIA Cosmos 通過加速 世界基礎模型 (WFM) 開發來應對這一挑戰。Cosmos WFM 是其平臺的核心，可加快合成數據的生成 ，并作為后訓練的基礎，以開發下游領域或特定任務的 物理 AI 模型 來解決這些挑戰。 本文將探討最新的 Cosmos WFM、其推進物理 AI 的關鍵功能，以及如何使用它們。 Cosmos Transfer WFM 根據結構化輸入生成高保真世界場景，確保精確的空間對齊和場景構成。 通過采用 ControlNet 架構，
Source
]]>
13311
-
NVIDIA 推出用于機器人仿真的開源物理引擎 Newton
Tue, 18 Mar 2025 04:36:14 +0000
http://www.open-lab.net/zh-cn/blog/?p=13308
Continued]]>
物理 AI 模型使機器人能夠自主感知、解釋、推理現實世界并與之交互。加速計算和仿真是開發新一代機器人的關鍵。 物理學在機器人仿真中發揮著至關重要的作用，為在真實環境中準確虛擬呈現機器人行為和交互奠定了基礎。借助這些仿真器，研究人員和工程師可以安全、加速且經濟高效地訓練、開發、測試和驗證機器人控制算法和原型設計。 機器人仿真建立在基本的物理定律之上，包括質量和動量守恒、剛體和軟體動力學、接觸和摩擦以及執行器建模。這些原則用于預測機器人在各種場景和環境中的行為方式，例如在使用 GPU、DPU 或其他硬件加速器時的響應。 然而，仿真往往無法完全匹配現實，這一問題被稱為“仿真與現實（sim-to-real）的差距”。機器人開發者需要一個統一、可擴展且可定制的解決方案，既能模擬現實世界的物理特性，又能處理復雜行為（包括與自定義求解器的交互），并支持高可靠性等功能。
Source
]]>
13308
-
使用 OpenUSD 實現模塊化和可擴展的機器人仿真和開發
Tue, 18 Mar 2025 04:25:42 +0000
http://www.open-lab.net/zh-cn/blog/?p=13305
Continued]]>
在 物理 AI 飛速發展的推動下 ，機器人領域正在經歷重大變革。這一演變加快了新機器人解決方案的上市時間，增強了人們對其安全能力的信心，并有助于 為工廠和倉庫中的物理 AI 提供動力支持 。 在 GTC 上宣布推出的 Newton 是一款開源、可擴展的物理引擎，由 NVIDIA、Google DeepMind 和 Disney Research 共同開發，旨在推動機器人學習和開發。 NVIDIA Cosmos 作為基于開放模型許可的世界基礎模型 (WFM) 平臺推出，旨在加速自動駕駛汽車和機器人等自主機器的物理 AI 開發。 最新發布的 NVIDIA Omniverse Kit SDK 107 是機器人應用的另一個重要里程碑。它升級到 OpenUSD 版本 24.05，同時更新了 Python、C++和 Linux ABI。NVIDIA Isaac Sim 5.0…
Source
]]>
13305
人人超碰97caoporen国产