自動駕駛汽車 (AV) 堆棧正在從離散構建塊的層次結構發展為基于foundation models構建的端到端架構。這種轉變需要自動駕駛數據飛輪來生成合成數據和增強傳感器數據集，解決覆蓋差距，并最終構建驗證工具鏈，以安全開發和部署自動駕駛汽車。
在本博文中，我們重點介紹了最新的 NVIDIA API、NVIDIA Cosmos 世界基礎模型 (WFMs) 和 NIM 微服務，供開發者啟動數據工作流。
用于 AV 仿真的神經重建
從自動駕駛車隊收集的現實世界數據是自動駕駛工作流的基礎，但是，收集和注釋罕見事件、物體和場景的傳感器數據是不可行的。通過先進的 3D 重建技術、神經重建和渲染，開發者可以將現實世界的數據集轉變為多樣化的交互式模擬。
NVIDIA NuRec
NVIDIA NuRec 是一組用于神經重建和渲染的 API 和工具。它使開發者能夠使用現有fleet數據來重建高保真數字孿生、模擬新事件，并從新的視角渲染傳感器數據集。NuRec 的 API 和工具使開發者能夠：
- 準備和處理用于重建的傳感數據
- 將傳感器數據重構為 3D 表示形式
- 執行基于 Gaussian 的渲染以連接仿真
傳感器配置因車輛平臺而異。在根據任意傳感器數據重建數字孿生（具有不同的校準、外部元件和捕獲質量）之前，傳感器數據必須以標準化的方式進行格式化，以便進行數據處理。
Voxel51 是一家視覺 AI 數據平臺公司，為 AI 工作負載的數據處理、可視化和格式化構建了功能強大且廣泛使用的開源工具。NuRec 數據工具包、數據提取庫以及 NuRec 容器將在 Voxel51 的工具鏈上提供，因此開發者可以提取自己的數據集，評估重建質量，并為下游仿真任務創建 3D 數字孿生。此工作流將在 CVPR 上的 Voxel 51 展位 (#1417) 演示中展示。
將真實世界的重建集成到模擬管道中
重建真實駕駛場景后，下一步是回放原始駕駛或模擬數字孿生的新場景。這需要一個模擬器來驅動ego-vehicle，口述場景中其他參與者的動作，并編排場景中的所有事件。
CARLA 開源自動駕駛汽車模擬器
CARLA 是全球最熱門的開源仿真平臺之一，擁有超過 15 萬名活躍開發者，是自動駕駛汽車研發的測試平臺。NVIDIA 正與 CARLA 合作，集成最新的 NuRec 渲染 API 和 Cosmos Transfer-1 世界基礎模型。這使得開發者能夠使用光線追蹤從高斯表示中生成傳感器數據，并使用 Cosmos WFM 放大多樣性。
以下是一個場景示例，其中 CARLA 正在編排包括 ego-vehicle 在內的所有智能體的運動，并使用 NuRec 從 ego 點視角渲染傳感器數據。通過使用 CARLA 的 APIs 和交通模型集成添加重建的場景并模擬新事件，我們可以創建有用的 corner-case 數據集。
使用 NuRec Fixer 生成新穎的視圖
從新視角渲染重建的場景時，重建過程中可能存在空隙，這可能會導致失真。NuRec Fixer 是一個基于 Transformer 的模型，在 AV 數據集上進行后訓練，用于修補和解決重建偽影。開發者可以在重建期間運行 Fixer，也可以在神經網絡渲染期間作為后處理運行 Fixer，以修復此類偽影。Fixer 基于 CVPR 2025 上發布的 Difix3D+ 論文。借助 Fixer，來自重建場景的新穎視圖合成可在開放和閉環仿真工作流中發揮作用。
NVIDIA 物理 AI 數據集
開發者可以使用 NVIDIA 物理 AI 數據集上提供的開源數據試用此工作流。最新發布的數據集包括使用 Cosmos 生成的 40,000 個片段，以及用于神經渲染的重建場景樣本。借助新版 CARLA，開發者現在可以創作全新的軌跡，重新調整攝像頭的位置，并使用這些重建數據的入門包模擬駕駛。
借助 Cosmos Transfer 實現多元化
借助 Cosmos Transfer，我們可以進一步擴展和加速數據飛輪，提高數據的真實性和多樣性。為天氣顆粒效應建模、實現光照變化和程序化生成 3D 內容是一項復雜的技術挑戰。Cosmos WFMs（Reason、Predict 和 Transfer）已經過大規模互聯網數據的訓練，具有一般的理解和預測能力。Cosmos Transfer 是一種基于擴散的生成模型，開發者可以使用提示詞和傳感器數據作為輸入，以調整模型并生成現有場景的不同變體，并且可在最新版本的 CARLA 中使用。
行為：仿真中的交通模型
CARLA 開發者使用行為定向智能體模型 (例如來自 Inverted AI 的 Imagining The Road Ahead (ITRA)) ，而自動駕駛汽車開發者使用 Foretellix Foretify 數據自動化工具鏈 (預先與 CARLA 和 NVIDIA Cosmos 集成) ，可以在場景和行為中生成逼真的變化，并擴展行為多樣性。CVPR 與會者可以在“推進數據策略以實現 AI 成功”的實戰教程中試用此工作流程
適用于自動駕駛汽車仿真的 NVIDIA Omniverse Blueprint
NVIDIA 正在將這些核心技術整合到參考工作流中，以幫助開發者構建端到端仿真管道。
即將推出的用于自動駕駛汽車仿真的 Omniverse Blueprint 將使開發者能夠使用神經重建的場景增強自己的模擬器，將合成演員插入到這些場景中，對物理和動畫進行建模，并使用合成渲染渲染基于物理性質的內容和 NeRF 內容。
Foretellix、MathWorks、CARLA 和 Mcity 等組織都在使用該藍圖構建工作流，以加速最終用戶的 AV 開發。
這些模型和工作流程旨在幫助自動駕駛（AV）開發者社區應對嚴峻挑戰，建立用于訓練、測試和驗證自動駕駛汽車的數據管道。
立即開始開發
- 詳細了解AV Simulation用例
- 在 CARLA 上開始使用 NuRec 和 Cosmos Transfer
- 下載 Physical AI 數據集
- 下載Cosmos Transfer
- 下載NuRec Fixer
探索將在 CVPR 2025 上發表的 NVIDIA 研究論文，并觀看 NVIDIA 創始人兼首席執行官 Jensen Huang 在 NVIDIA GTC 巴黎大會上的主題演講。
通過訂閱 NVIDIA 新聞并在 Discord 和 YouTube 上關注 NVIDIA Omniverse，隨時了解最新動態。
- 訪問我們的 Omniverse 開發者頁面，獲取入門所需的所有基礎知識
- 訪問一系列 OpenUSD 資源，包括新的 Learn OpenUSD 自定進度培訓課程
- 收聽即將推出的 OpenUSD 預覽體驗計劃直播，并與 NVIDIA 開發者社區建立聯系
開始使用developer starter kits，快速開發和增強您自己的應用和服務。
