從訓練自動駕駛汽車 (AV) 到為機器人和數字孿生提供支持，逼真的 3D 仿真正在成為現代 AI 和圖形的基石。NeRF 和 3D Gaussian Splatting (3DGS) 等神經渲染技術徹底改變了根據原始傳感器數據重建和可視化 3D 場景的方式。
在本文中，我們將介紹 3D Gaussian Unscented Transform (3DGUT) 的實現，這是一種先進的方法，可增強 gsplat 庫中的神經渲染，并支持現實世界的攝像頭效果。通過這種集成，開發者和研究人員可以更輕松地獲得性能和保真度優勢，為自主機器、機器人和其他物理 AI 應用創建豐富的虛擬世界。
3DGUT 如何推進 3D 渲染
3DGUT 正在徹底改變 3D 渲染和場景重建。3DGUT 基于廣泛采用的 3DGS 框架構建，以更靈活的 Unscented Transform 取代傳統的 Elliptical Weighted Average (EWA) splatting。這一進步使開發者能夠在不犧牲渲染速度的情況下，以前所未有的準確性處理復雜的攝像頭模型 (包括魚眼鏡頭的失真和滾動快門效果) 。
3DGUT 還通過與 NVIDIA 光線追蹤方法 3DGRT 無縫匹配，引入了用于模擬反射和折射等二次視覺現象的強大功能。為加速采用和研究，3DGUT 和 3DGRT 是開源的，可通過 nv-tlabs/3dgrut GitHub 資源庫獲取。
在 gsplat 中實現 3DGUT
廣受歡迎的開源高斯射庫 gsplat 專為開發和訓練高斯射方法而設計。這對于充分發揮 3DGUT 的潛力至關重要。gsplat 提供與 PyTorch 兼容的 Python 綁定，以及經過優化的 CUDA 后端，其 眾多功能 可增強 Gaussian Splatting 模型的優化。
gsplat 在 GitHub 上根據 Apache License 2.0 主動維護，為 Nerfstudio 等眾多熱門神經渲染庫提供支持。結合 3DGUT 的靈活性和高度優化的模塊化 gsplat 框架，為可擴展的高性能 3D 渲染提供了理想的環境。
可擴展 3D 渲染
將 3DGUT 集成到熱門的開源 gsplat 庫中，可以渲染 (和訓練) 復雜的攝像頭模型，包括失真和滾動快門。這對于生產級工作流至關重要。與支持批量和多 GPU 的輕量級 gsplat CUDA 后端搭配使用時，用戶可以使用更少的資源探索更大的環境，同時保持實時反饋。
簡化工作流程和快速實驗
gsplat 的模塊化即插即用架構是對 3DGUT 靈活性的理想補充。研究人員和開發者可以通過切換優化例程、攝像頭模型甚至 Gaussian 表示來快速構建新架構的原型，而無需重寫核心基礎架構。
將 3DGUT 與 gsplat 搭配使用可減少工作流程中每個步驟（從數據集準備到視覺評估）的摩擦，從而加快迭代周期并提高研究生產力。觀看即將推出的對 Nerfstudio 的交互式可視化工具和各種數據導入/導出格式的支持。
推動社區驅動的生態系統不斷發展
gsplat 的開源特性與 3DGUT 的強大功能相結合，邀請了更廣泛的研究人員、開發者和創作者社區來貢獻、擴展和創新。無論您是構建新的神經渲染算法、集成到現有的 3D 工作流中，還是單純地探索想法，這種集成都將為先進的 NVIDIA 研究和 gsplat 協作生態系統提供堅實的基礎。它們共同實現了高性能 3D 渲染的普及，并加速了學術界和行業的進步。
助力物理 AI 開發
3DGUT 是視覺逼真度至關重要的物理 AI 應用的強大助力，包括機器人、自動駕駛汽車和具身智能體。通過對魚眼鏡頭失真和滾動快門效應等復雜的攝像頭現象進行建模，3DGUT 解決了在現實應用中收集數據時通常會遇到的許多挑戰。這種保真度對于訓練可靠的視覺系統至關重要，這些系統必須在動態運動和廣角光學器件 (典型的現實世界機器人傳感器) 下可靠地運行。
3DGUT 還支持二次照明效果，包括通過與 3DGRT 統一來實現反射和折射。這對于合成物體插入和多反射照明至關重要。這些照明線索會顯著影響 AI 智能體解釋深度、表面邊界和物體材料屬性的方式，使得它們的包含對于在復雜、不確定的條件下測試和改進行為至關重要。
此設置與 gsplat 快速靈活的渲染后端和 Nerfstudio 生態系統中的交互式工具集成，可實現快速實驗和迭代，這對于推進物理 AI 的研發至關重要。
查看視頻 3 和 4，比較普通針孔攝像頭 (視頻 3) 和啟用 3DGUT 的魚眼攝像頭重建的場景 (視頻 4) 。
開始使用 3DGUT
3DGUT 和 3DGRT 是開源的，可供全球開發者和研究社區使用。探索代碼并通過 nv-tlabs/3dgrut GitHub 資源庫做出貢獻。此外，3DGUT 現已集成到廣泛采用的開源 gsplat 庫中，可實現無縫實驗、即插即用渲染管線和部署就緒型性能。
要開始使用，請查看有關 NVIDIA 3DGUT 實施和 gsplat 與 3DGUT 集成 的綜合文檔和快速入門指南，包括使用它實現實時可視化和多格式數據集支持的教程。
NVIDIA 3DGUT 贏大獎活動
我們邀請研究人員和開發者在 NVIDIA 3DGUT 贏大獎活動中使用 gsplat 中的 3DGUT 或 3DGRUT (3DGUT 加 3DGRT) 生成創新場景，展示他們的創造力。參賽者將有機會贏取兩塊 NVIDIA RTX 4090 GPU，加速未來的研發。
