Humanoid Robots – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Tue, 17 Jun 2025 07:38:55 +0000 zh-CN hourly 1 196178272 使用世界基礎模型生成的合成軌跡數據提高機器人學習效果 http://www.open-lab.net/zh-cn/blog/enhance-robot-learning-with-synthetic-trajectory-data-generated-by-world-foundation-models/ Mon, 16 Jun 2025 07:17:01 +0000 http://www.open-lab.net/zh-cn/blog/?p=14215 Continued]]> 在機電一體化和機器人 AI 基礎模型的進步的推動下，通用型機器人技術已經問世。但關鍵的瓶頸依然存在：機器人需要大量的訓練數據來訓練裝配和檢查等技能，而且手動演示不可擴展。NVIDIA Isaac GR00T-Dreams 藍圖基于 NVIDIA Cosmos 構建，只需一個圖像和語言提示即可生成大量合成軌跡數據，從而應對這一挑戰。 借助 Cosmos 世界基礎模型 (WFMs) 和生成式 AI，開發者可以快速為 NVIDIA Isaac GR00T N1.5 等模型創建訓練數據。 本文將介紹 Isaac GR00T-Dreams 藍圖，詳細介紹其高級功能及其在開發 Isaac GR00T N1.5 基礎模型中發揮的作用。 Isaac GR00T-Dreams 藍圖是一個用于生成大量合成軌跡數據的參考工作流。這些數據用于教人形機器人在新環境中執行新動作。

Source

]]> 14215 R2D2：利用 NVIDIA 研究工作流程和模型提升靈巧機器人的適應性 http://www.open-lab.net/zh-cn/blog/r%c2%b2d%c2%b2-adapting-dexterous-robots-with-nvidia-research-workflows-and-models/ Fri, 25 Apr 2025 09:04:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=13681 Continued]]> 如今，Robotic arms 用于組裝、包裝、檢查等更多應用領域。但是，它們仍然經過預編程，可以執行特定的、通常是重復性的任務。為了滿足大多數環境中日益增長的適應性需求， perceptive arms 需要根據實時數據做出決策和調整行為。這提高了協作環境中任務的靈活性，并通過危險感知提高安全性。 本期 NVIDIA Robotics Research and Development Digest (R2 D2 ) 探討了 NVIDIA Research 的一些機器人靈活性、操作和抓取工作流以及 AI 模型 (如下所示) ，以及它們如何應對適應能力和數據稀缺等關鍵機器人挑戰： 靈巧的機器人能夠精準、高效地操控物體。機器人的靈活性涉及精細的運動控制、協調，以及通常在非結構化環境中處理各種任務的能力。機器人靈活性的關鍵方面包括抓握、操控、觸覺敏感度、

Source

]]> 13681 使用 NVIDIA NIM 管理科學文獻中的生物研究成果 http://www.open-lab.net/zh-cn/blog/curating-biological-findings-from-scientific-literature-with-nvidia-nim/ Fri, 11 Apr 2025 06:07:31 +0000 http://www.open-lab.net/zh-cn/blog/?p=13499 Continued]]> 科學論文多種多樣，通常為同一實體使用不同的術語，使用不同的方法來研究生物現象，并在不同的上下文中展示研究結果。從這些論文中提取有意義的見解需要對生物學的深刻理解、對方法的批判性評估，以及從不相關或不太可靠的發現中辨別出可靠發現的能力。 科學家必須仔細解釋上下文，評估實驗證據的可靠性，并識別研究中潛在的偏見或局限性。鑒于支持疾病建模中關鍵決策的高精度需求，生物學發現必須僅包含高質量的知識。 大語言模型 (LLM) 在集成到 檢索增強生成 (RAG) 流程中時，為自動化和加速生物發現的管理提供了顛覆性的機會。通過優化從科學論文中提取見解的過程，LLM 顯著提高了這一過程的可擴展性。這些語言模型可以篩選的論文數量遠超任何個人可以手動審查的論文，并發現了更多的相關發現。 CytoReason 團隊是 NVIDIA Inception 計劃的成員，

Source

]]> 13499 R2D2：利用 NVIDIA 研究中心的新型工作流和 AI 基礎模型，提升機器人的移動和全身控制能力 http://www.open-lab.net/zh-cn/blog/r2d2-advancing-robot-mobility-whole-body-control-with-ai-from-nvidia-research/ Thu, 27 Mar 2025 05:47:44 +0000 http://www.open-lab.net/zh-cn/blog/?p=13416 Continued]]> 歡迎閱讀首期“NVIDIA 機器人研究與開發摘要（R²D²）”。此技術博客系列將讓開發者和研究人員更深入地了解 NVIDIA 各個研究實驗室在物理 AI 和機器人領域的最新研究突破。 開發強大的機器人面臨著諸多重大挑戰，例如： 我們通過在自身平臺上經過驗證的先進研究來應對這些挑戰。我們的方法將前沿研究與工程工作流相結合，并在我們的 AI 和機器人平臺（包括 NVIDIA Omniverse、Cosmos、Isaac Sim 和 Isaac Lab）上進行測試。最終生成的模型、策略和數據集可作為研究人員和開發者社區的可定制參考，以適應特定的機器人開發需求。我們期待分享我們的研究成果，共同構建機器人技術的未來。 在本期 R²D² 中，您將了解以下機器人移動及全身控制的工作流及模型，以及它們如何應對機器人導航、移動和控制方面的關鍵挑戰：

Source

]]> 13416 人形機器人學習的合成運動生成管道構建 http://www.open-lab.net/zh-cn/blog/building-a-synthetic-motion-generation-pipeline-for-humanoid-robot-learning/ Tue, 18 Mar 2025 08:09:16 +0000 http://www.open-lab.net/zh-cn/blog/?p=12587 Continued]]> 通用人形機器人需要能夠快速適應現有的以人類為中心的城市和工業工作空間，處理繁瑣、重復或體力要求高的任務。這些移動機器人經過設計，能在以人類為中心的環境中有出色的表現，從工廠車間到醫療醫療機構，它們的價值日益凸顯。 模仿學習是機器人學習的一個子集，它能讓人形機器人通過觀察和模仿人類專家的示范來獲取新技能，這些演示可以來自遠程操作演示中的人類真實視頻，也可以來自仿真數據。模仿學習使用已標記的數據集，有利于在難以編程定義的不同環境中教授機器人復雜動作。 雖然錄制演示可能比指定獎勵策略更簡單，但創建完美的演示可能具有挑戰性，并且機器人可能難以應對一些未曾預見的情況。在真實世界中收集廣泛、高質量的數據集既繁瑣又耗時，而且成本往往高得令人卻步。但是，從物理精確的仿真環境中生成的合成數據，有助于加快數據收集過程。 用于合成運動生成的 NVIDIA Isaac GR00T…

Source

]]> 12587 構建人形機器人學習的合成運動生成流程 http://www.open-lab.net/zh-cn/blog/building-a-synthetic-motion-generation-pipeline-for-humanoid-robot-learning-2/ Tue, 18 Mar 2025 05:10:29 +0000 http://www.open-lab.net/zh-cn/blog/?p=13317 Continued]]> 通用人形機器人需要能夠快速適應現有的以人類為中心的城市和工業工作空間，處理繁瑣、重復或體力要求高的任務。這些移動機器人經過設計，能在以人類為中心的環境中有出色的表現，從工廠車間到醫療醫療機構，它們的價值日益凸顯。 模仿學習是機器人學習的一個子集，它能讓人形機器人通過觀察和模仿人類專家的示范來獲取新技能，這些演示可以來自遠程操作演示中的人類真實視頻，也可以來自仿真數據。模仿學習使用已標記的數據集，有利于在難以編程定義的不同環境中教授機器人復雜動作。 雖然錄制演示可能比指定獎勵策略更簡單，但創建完美的演示可能具有挑戰性，并且機器人可能難以應對一些未曾預見的情況。在真實世界中收集廣泛、高質量的數據集既繁瑣又耗時，而且成本往往高得令人卻步。但是，從物理精確的仿真環境中生成的合成數據，有助于加快數據收集過程。 用于合成運動生成的 NVIDIA Isaac GR00T…

Source

]]> 13317 加速通用人形機器人的開發：NVIDIA Isaac GR00T N1 http://www.open-lab.net/zh-cn/blog/accelerate-generalist-humanoid-robot-development-with-nvidia-isaac-gr00t-n1/ Tue, 18 Mar 2025 04:57:31 +0000 http://www.open-lab.net/zh-cn/blog/?p=13314 Continued]]> 人形機器人需要能夠適應人類工作空間，處理重復性或高強度任務。然而，為真實世界的任務和不可預測的環境創建通用人形機器人是一項挑戰。通常來說，這些任務中的每一個都需要一個專用的 AI 模型。由于需要大量特定于任務的數據、高昂的計算成本，且模型的泛化能力有限，針對每一個新的任務和環境，從零開始訓練這些模型是一個非常繁瑣的過程。 NVIDIA Isaac GR00T 通過提供開源的 SimReady 數據、仿真框架（如 NVIDIA Isaac Sim 和 Isaac Lab）、合成數據藍圖和預訓練基礎模型，能夠幫助解決這些挑戰并加速通用人形機器人的開發。 NVIDIA Isaac GR00T N1 的特點和優勢 NVIDIA Isaac GR00T N1 是世界上首個用于通用人形機器人推理和技能的開源基礎模型。這個跨實體模型接受包括語言和圖像在內的多模態輸入，

Source

]]> 13314 NVIDIA Cosmos World 基礎模型平臺助力物理 AI 進步 http://www.open-lab.net/zh-cn/blog/advancing-physical-ai-with-nvidia-cosmos-world-foundation-model-platform/ Thu, 09 Jan 2025 08:43:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=12593 Continued]]> 隨著機器人和 自動駕駛汽車 的發展，加速 物理 AI 的發展變得至關重要，而物理 AI 使自主機器能夠感知、理解并在現實世界中執行復雜的操作。這些系統的核心是 世界基礎模型 (WFMs)，即通過物理感知視頻模擬物理狀態的 AI 模型，使機器能夠做出準確決策并與周圍環境無縫交互。 NVIDIA Cosmos 平臺可幫助開發者大規模為物理 AI 系統構建自定義世界模型。它為從數據管護、訓練到定制的每個開發階段提供開放世界基礎模型和工具。 本文將介紹 Cosmos 及其加速物理 AI 開發的主要功能。Cosmos 是一種開源的 Python 庫，用于加速物理 AI 開發。 構建物理 AI 極具挑戰性，需要精確的模擬以及真實世界的行為理解和預測。克服這些挑戰的一個關鍵工具是世界模型，該模型根據過去的觀察結果和當前的輸入結果預測未來的環境狀態。

Source

]]> 12593 利用最新的 NVIDIA Isaac 版本推進機器人學習、感知和操控技術 http://www.open-lab.net/zh-cn/blog/advancing-robot-learning-perception-and-manipulation-with-latest-nvidia-isaac-release/ Mon, 06 Jan 2025 06:33:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=12575 Continued]]> 在 CES 2025 上，NVIDIA 宣布了對 NVIDIA Isaac 的重要更新。NVIDIA Isaac 是一個由加速庫、應用框架和 AI 模型組成的平臺，可加速 AI 機器人的開發。 NVIDIA Isaac 簡化了從仿真到實際部署的機器人系統開發過程。在本文中，我們將討論 NVIDIA Isaac 的所有新進展： NVIDIA Isaac Sim 是一款基于 NVIDIA Omniverse 構建的參考應用，使您能夠在基于物理的虛擬環境中開發、模擬和測試 AI 驅動的機器人。 新的 Isaac Sim 4.5 將于 1 月底推出，將帶來一系列重大變化，包括： Isaac Sim 經過重新設計，是一款可定制的參考應用。用于加快啟動速度的最小模板和具有完整功能以及所有依賴項的完整模板。

Source

]]> 12575 人人超碰97caoporen国产