Cosmos – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 17 Jul 2025 06:31:05 +0000
zh-CN
hourly
1
196178272 -
R2D2：利用 NVIDIA 研究工作流和全局基礎模型訓練通用機器人
http://www.open-lab.net/zh-cn/blog/r2d2-training-generalist-robots-with-nvidia-research-workflows-and-world-foundation-models/
Wed, 16 Jul 2025 06:26:36 +0000
http://www.open-lab.net/zh-cn/blog/?p=14622
Continued]]>
機器人領域的一項主要挑戰是訓練機器人執行新任務，而無需為每個新任務和環境收集和標記數據集。NVIDIA 近期的研究工作旨在通過使用生成式 AI、NVIDIA Cosmos 等世界基礎模型 ( WFM) 以及 NVIDIA Isaac GR00T-Mimic 和 GR00T-Dreams 等數據生成藍圖來解決這一挑戰。 本期 NVIDIA 機器人研發摘要 (R2D2)NVIDIA 機器人研發摘要 (R2D2)NVIDIA 機器人研發摘要 (R2D2)NVIDIA 機器人研發摘要 (R2D2)NVIDIA 機器人研發摘要 (R2D2) 介紹了研究如何使用世界基礎模型實現可擴展的合成數據生成和機器人模型訓練工作流，例如： Cosmos 世界基礎模型 (WFM) 基于數百萬小時的真實世界數據進行訓練，以預測未來世界狀態，并根據單個輸入圖像生成視頻序列，
Source
]]>
14622
-
使用世界基礎模型生成的合成軌跡數據提高機器人學習效果
http://www.open-lab.net/zh-cn/blog/enhance-robot-learning-with-synthetic-trajectory-data-generated-by-world-foundation-models/
Mon, 16 Jun 2025 07:17:01 +0000
http://www.open-lab.net/zh-cn/blog/?p=14215
Continued]]>
在機電一體化和機器人 AI 基礎模型的進步的推動下，通用型機器人技術已經問世。但關鍵的瓶頸依然存在：機器人需要大量的訓練數據來訓練裝配和檢查等技能，而且手動演示不可擴展。NVIDIA Isaac GR00T-Dreams 藍圖基于 NVIDIA Cosmos 構建，只需一個圖像和語言提示即可生成大量合成軌跡數據，從而應對這一挑戰。 借助 Cosmos 世界基礎模型 (WFMs) 和生成式 AI，開發者可以快速為 NVIDIA Isaac GR00T N1.5 等模型創建訓練數據。 本文將介紹 Isaac GR00T-Dreams 藍圖，詳細介紹其高級功能及其在開發 Isaac GR00T N1.5 基礎模型中發揮的作用。 Isaac GR00T-Dreams 藍圖是一個用于生成大量合成軌跡數據的參考工作流。這些數據用于教人形機器人在新環境中執行新動作。
Source
]]>
14215
-
Isaac Sim 和 Isaac Lab 現已推出早期開發者預覽版
http://www.open-lab.net/zh-cn/blog/isaac-sim-and-isaac-lab-are-now-available-for-early-developer-preview/
Mon, 16 Jun 2025 07:08:49 +0000
http://www.open-lab.net/zh-cn/blog/?p=14212
Continued]]>
NVIDIA 今天發布了 NVIDIA Isaac Sim 和 NVIDIA Isaac Lab 的開發者預覽版 — — 參考機器人仿真和學習框架。這些版本現已在 GitHub 上推出，可讓您搶先體驗先進功能，以便在基于物理的仿真環境中構建、訓練和測試 AI 機器人。 Isaac Sim 是一款基于 NVIDIA Omniverse 構建的參考應用，支持用戶在基于物理的仿真環境中開發、仿真和測試 AI 驅動的機器人。Isaac Sim 5.0 的主要更新包括： 開源可用性 Isaac Sim 專用的擴展程序正在一個新的公共 Github 存儲庫中開源，這將允許用戶構建和運行 Isaac Sim。此資源庫將作為社區的搶先體驗版，通過公共開發分支提供新功能的訪問權限。請注意，Omniverse Kit 的組件仍處于封源狀態，目前不接受外部貢獻。
Source
]]>
14212
-
使用 NVIDIA Cosmos Predict-2 構建自定義物理人工智能基礎模型
http://www.open-lab.net/zh-cn/blog/develop-custom-physical-ai-foundation-models-with-nvidia-cosmos-predict-2/
Wed, 11 Jun 2025 09:01:13 +0000
http://www.open-lab.net/zh-cn/blog/?p=14300
Continued]]>
構建更智能的機器人和自動駕駛汽車 (AV) 始于能夠理解現實世界動態的物理 AI 模型。這些模型發揮著兩個關鍵作用：加速合成數據生成 (SDG) ，幫助自主機器了解現實世界的物理特性和交互（包括罕見的邊緣案例），以及作為基礎模型，可針對專門任務進行后訓練或適應不同的輸出類型。 Cosmos Predict-1 正是為此而打造，能夠生成逼真的物理感知型未來世界狀態。 現在，全新 Cosmos Predict-2 在速度、視覺質量和自定義方面進行了重大升級。在本文中，您將了解該模型，以及如何針對特定領域的用例對其進行后期訓練。 Cosmos Predict-2 是一款性能出色的世界基礎模型，經過架構優化，可提高速度和可擴展性，并跨用例和硬件平臺提供分辨率和幀速率靈活性。有兩個模型變體針對任務復雜性進行了優化： 開發者可以首先使用文本轉圖像模型生成預覽，
Source
]]>
14300
-
借助神經重建和世界基礎模型提升自動駕駛汽車仿真速度
http://www.open-lab.net/zh-cn/blog/accelerating-av-simulation-with-neural-reconstruction-and-world-foundation-models/
Wed, 11 Jun 2025 08:27:15 +0000
http://www.open-lab.net/zh-cn/blog/?p=14279
Continued]]>
自動駕駛汽車 (AV) 堆棧正在從離散構建塊的層次結構發展為基于foundation models構建的端到端架構。這種轉變需要自動駕駛數據飛輪來生成合成數據和增強傳感器數據集，解決覆蓋差距，并最終構建驗證工具鏈，以安全開發和部署自動駕駛汽車。 在本博文中，我們重點介紹了最新的 NVIDIA API、NVIDIA Cosmos 世界基礎模型 (WFMs) 和 NIM 微服務，供開發者啟動數據工作流。 從自動駕駛車隊收集的現實世界數據是自動駕駛工作流的基礎，但是，收集和注釋罕見事件、物體和場景的傳感器數據是不可行的。通過先進的 3D 重建技術、神經重建和渲染，開發者可以將現實世界的數據集轉變為多樣化的交互式模擬。 NVIDIA NuRec 是一組用于神經重建和渲染的 API 和工具。它使開發者能夠使用現有fleet數據來重建高保真數字孿生、模擬新事件，
Source
]]>
14279
-
借助全新 NVIDIA Cosmos 世界基礎模型簡化端到端自動駕駛汽車開發
http://www.open-lab.net/zh-cn/blog/simplify-end-to-end-autonomous-vehicle-development-with-new-nvidia-cosmos-world-foundation-models/
Wed, 11 Jun 2025 08:21:56 +0000
http://www.open-lab.net/zh-cn/blog/?p=14276
Continued]]>
隨著向為自動駕駛汽車 (AV) 提供動力支持的端到端規劃模型的轉變，人們對基于物理性質的高質量傳感器數據的需求也在不斷增加。這些模型必須大致了解多模態數據集，以及傳感器數據集、車輛軌跡和駕駛動作之間的關系，以幫助執行下游訓練和驗證任務。 通過在自動駕駛領域調整和后訓練 NVIDIA Cosmos 世界基礎模型 (WFMs)（Predict、Transfer 和 Reason） ，開發者可以創建世界模型，以加速端到端自動駕駛訓練。這些模型用于本文中展示的合成數據生成 (SDG) ，以及閉環訓練和車載推理。 在本文中，我們將介紹不同的后訓練方法。有很多方法可以讓 Cosmos 模型適應 AV 應用。我們討論的模型目前均可供開發者使用。 NVIDIA Research 使用 20,000 小時的駕駛數據對 Cosmos WFMs 進行了后訓練，
Source
]]>
14276
-
在阿里云 PAI 上一鍵部署和使用 NVIDIA Cosmos Reason-1 模型
http://www.open-lab.net/zh-cn/blog/aliyun-pai-nvidia-cosmos-reason-1-model/
Fri, 30 May 2025 05:24:58 +0000
http://www.open-lab.net/zh-cn/blog/?p=14029
Continued]]>
NVIDIA 近期發布了 Cosmos Reason-1 的 7B 和 56B 兩款多模態大語言模型 (MLLM)，它們經過了“物理 AI 監督微調”和“物理 AI 強化學習”兩個階段的訓練。其中，Cosmos Reason-1-7B 已經開源，其基于 Qwen2.5-VL 使用物理常識和具身推理數據進行了后訓練。 阿里云 PAI-Model Gallery 現已集成 Cosmos Reason-1-7B 模型并提供企業級部署方案，本文介紹如何在阿里云人工智能平臺 PAI (Platform of AI) 上快速部署和使用該模型。 NVIDIA Cosmos 平臺 NVIDIA Cosmos 是一個世界基礎模型 (WFM) 的開發平臺，整合了先進的分詞器、護欄以及用于加速數據處理和管理的工作流，它為世界模型的訓練提供支持，并加速智能駕駛汽車 (AV)…
Source
]]>
14029
-
利用 NVIDIA Cosmos Reason 整理合成數據集以訓練物理 AI 模型
http://www.open-lab.net/zh-cn/blog/curating-synthetic-datasets-to-train-physical-ai-models-with-nvidia-cosmos-reason/
Sun, 18 May 2025 06:30:51 +0000
http://www.open-lab.net/zh-cn/blog/?p=13952
Continued]]>
AI 系統如何理解可能發生的事故與物理上不可能發生的事件之間的區別？還是計劃在邊緣場景中進行跨人類、物體和環境的多步驟交互？這些都是物理智能的核心問題，是機器人如何操控世界、 自動駕駛汽車 如何瞬間做出決策以及虛擬智能體如何模擬現實的基礎。 NVIDIA Cosmos Reason 是 物理 AI 的世界基礎模型 (WFM) ，構建該模型不僅是為了觀察事物，也是為了推理。它經過訓練，能夠理解空間、時間和物理特性，可以 批判合成數據 并構建精心策劃的數據集，以訓練機器人和自動駕駛汽車等具身 AI 系統，使其行動更加逼真。本文將介紹 Cosmos Reason 的開發方式、使用位置，以及如何使用公開可用的模型檢查點和腳本來運行物理 AI 任務的模型。 Cosmos 是一個 WFM 開發平臺。Cosmos WFM 是預訓練的多模態模型，旨在理解世界狀態并將其生成為視頻，
Source
]]>
13952
-
NVIDIA Isaac Sim 和 NVIDIA Isaac Lab 即將新增高級傳感器物理特性、自定義和模型基準測試功能
http://www.open-lab.net/zh-cn/blog/advanced-sensor-physics-customization-and-model-benchmarking-coming-to-nvidia-isaac-sim-and-nvidia-isaac-lab/
Sun, 18 May 2025 06:24:36 +0000
http://www.open-lab.net/zh-cn/blog/?p=13947
Continued]]>
在 COMPUTEX 2025 上，NVIDIA 宣布對其機器人仿真參考應用 NVIDIA Isaac Sim 和機器人學習框架 NVIDIA Isaac Lab 進行新的更新，以加速開發各種具體化的機器人。 Isaac Sim 和 Lab 將完全兼容 NVIDIA RTX PRO 6000 工作站和服務器，為訓練中的每個機器人開發工作負載提供單一架構， 合成數據生成 、 機器人學習 ，以及 模擬 。 在本文中，我們將進一步探討將于今年第二季度推出的 Isaac Sim 和 Isaac Lab 的新功能，以及這些更新如何加速機器人工作流程。 新的 Isaac Sim 基于 NVIDIA Omniverse 和 OpenUSD 構建，將是開放和可定制的，通過 NVIDIA Launchable 加快開發速度，并支持先進的合成數據生成流程，
Source
]]>
13947
-
R2D2：利用 NVIDIA 研究中心的新型工作流和 AI 基礎模型，提升機器人的移動和全身控制能力
http://www.open-lab.net/zh-cn/blog/r2d2-advancing-robot-mobility-whole-body-control-with-ai-from-nvidia-research/
Thu, 27 Mar 2025 05:47:44 +0000
http://www.open-lab.net/zh-cn/blog/?p=13416
Continued]]>
歡迎閱讀首期“NVIDIA 機器人研究與開發摘要（R²D²）”。此技術博客系列將讓開發者和研究人員更深入地了解 NVIDIA 各個研究實驗室在物理 AI 和機器人領域的最新研究突破。 開發強大的機器人面臨著諸多重大挑戰，例如： 我們通過在自身平臺上經過驗證的先進研究來應對這些挑戰。我們的方法將前沿研究與工程工作流相結合，并在我們的 AI 和機器人平臺（包括 NVIDIA Omniverse、Cosmos、Isaac Sim 和 Isaac Lab）上進行測試。最終生成的模型、策略和數據集可作為研究人員和開發者社區的可定制參考，以適應特定的機器人開發需求。我們期待分享我們的研究成果，共同構建機器人技術的未來。 在本期 R²D² 中，您將了解以下機器人移動及全身控制的工作流及模型，以及它們如何應對機器人導航、移動和控制方面的關鍵挑戰：
Source
]]>
13416
-
使用 NVIDIA Cosmos 世界基礎模型擴展合成數據和物理 AI 推理
http://www.open-lab.net/zh-cn/blog/scale-synthetic-data-and-physical-ai-reasoning-with-nvidia-cosmos-world-foundation-models/
Tue, 18 Mar 2025 04:49:04 +0000
http://www.open-lab.net/zh-cn/blog/?p=13311
Continued]]>
人形機器人和自動駕駛汽車等新一代 AI 機器人依賴于高保真、物理感知的訓練數據 。如果沒有多樣化且具有代表性的數據集，這些系統將無法獲得適當的訓練，并且由于泛化性差、對現實世界變化的影響有限以及邊緣案例中的行為不可預測，因此會面臨測試風險。收集大量真實數據集進行訓練成本高昂、耗時費力，而且往往受限于各種可能性。 NVIDIA Cosmos 通過加速 世界基礎模型 (WFM) 開發來應對這一挑戰。Cosmos WFM 是其平臺的核心，可加快合成數據的生成 ，并作為后訓練的基礎，以開發下游領域或特定任務的 物理 AI 模型 來解決這些挑戰。 本文將探討最新的 Cosmos WFM、其推進物理 AI 的關鍵功能，以及如何使用它們。 Cosmos Transfer WFM 根據結構化輸入生成高保真世界場景，確保精確的空間對齊和場景構成。 通過采用 ControlNet 架構，
Source
]]>
13311
人人超碰97caoporen国产