生成式物理 AI?模型可以在物理世界中理解和執行具有精細或粗運動技能的動作。了解和在物理世界的三維空間中導航需要空間智能。要在物理 AI 中實現空間智能，需要將現實世界轉換為模型可以理解的 AI 就緒型虛擬表示，以便模型能夠更好地理解和執行物理世界中的動作。
但是，根據真實數據構建空間智能需要能夠處理大規模和高分辨率現實的基礎設施。通常情況下，開發者必須拼湊不同的庫來構建空間智能框架，這種方法通常會導致錯誤和低效，從而限制虛擬環境的范圍。由于沒有統一的框架，在多個數據結構之間復制數據會引入性能瓶頸、規模受限和不必要的工作。
為了提供強大、一致的框架，以處理現實規模的物理 AI，NVIDIA 建立了 fVDB，一個為稀疏、大規模和高性能空間智能而設計的深度學習框架。
對于從事涉及大規模 3D 數據（例如通常與現實世界的模擬或測量相關的數據）的深度學習應用程序的從業者和研究人員而言，fVDB 是一種顛覆性技術，此類稀疏大規模 3D 數據的示例包括點云、radiance fields、模擬物理量、signed distance functions 和 LiDAR。
fVDB 之所以如此命名，是因為它使用 OpenVDB 來高效表示功能，fVDB 將深度學習運算符與 NanoVDB 相結合。OpenVDB 是用于高效存儲和模擬稀疏體積數據的行業標準，由 Academy Software Foundation 開源，由 NVIDIA 的 Ken Museth 主持的 Technical Steering Committee 管理。
fVDB 是PyTorch的開源擴展，支持對大型 3D 數據執行一整套深度學習操作。這些深度學習操作的示例包括 attention 和 convolution，它們是transformers 和convolution neural networks (CNNs) 等著名機器學習架構的基礎構建塊。雖然它們傳統上是在 1D 和 2D 中實現的 (例如，在PyTorch 和 TensorFlow 中)，但 fVDB 在應用于大型稀疏數據集時能夠在 3D 中實現高效。
主要功能包括：
- 與現有 VDB 數據集兼容：fVDB 可以開箱即用地讀取和寫入現有 VDB 數據集。它可以與其他庫和工具（例如 Warp for Pythonic 空間計算和 Kaolin Library for 3D 深度學習）進行互操作。將 fVDB 無縫應用到現有的 AI 工作流程中。
- 統一 API 用于不同 iable
- 構建和訓練神經網絡（卷積、注意力、池化等）
- 光線追蹤和渲染（光線行軍、Gaussian splatting、體積渲染）
- 在 GPU 上構建稀疏網格（從點、網格、坐標等）
- 采樣和 splatting 稀疏體積
- 在 GPU 上高效處理非 uniform 批量數據
- 更快、更具可擴展性：fVDB 啟用 4x 空間尺度，速度比之前的框架快 3.5 倍。
- 更多功能：fVDB 提供的運算符比之前的框架多 10 倍。它提供易于使用的 API，因此您不必將不同的庫 patch 在一起。
fVDB 可為多種應用程序啟用空間智能，包括：
- 從超過 250 million 個 3D 點重建神經形狀
- 城市級數字孿生 with neural radiance fields (NeRFs)
- 大規模 3D 生成式 AI
- 物理超分辨率，其中神經網絡用于添加高分辨率 3D 細節到更快的低分辨率模擬中。
fVDB 應用
fVDB 已與 NVIDIA Research、NVIDIA DRIVE 和 NVIDIA Omniverse 團隊一起使用，作為一個框架，在空間智能研究和應用中啟用先進的結果。
表面重建
神經內核表面重建 (Neural Kernel Surface Reconstruction, NKSR) 實現了一種新算法，用于從大型點云重建高保真表面。NKSR 是一種基于 fVDB 和神經核的大規模核求解器，能夠在八個 GPUs 上在 2 分鐘內重建跨越 350 million 個點的高保真表面。
生成式 AI
XCube 將擴散生成模型與稀疏體素層次結構相結合，能夠在 30 秒內生成有效空間分辨率為 10243 voxels 的場景。基于 fVDB 構建，通過逐步細分稀疏體素層次結構來實現高分辨率。生成的 voxels 可以包含紋理或語義等豐富的屬性。
NeRF
NeRF-XL 是一種原則性算法，用于在多個 GPUs 之間分配 NeRF。NeRF-XL 將大型場景分解成較小的塊，分布在單獨的 GPUs 上。它重新制定訓練和渲染程序，以便多個 GPU 訓練在數學上與經典的單 GPU 案例相當。fVDB 是在神經渲染過程中加速光線進軍的基礎框架，可在多臺設備上并行運行。
NVIDIA fVDB NIM 微服務
不久后，fVDB 功能將作為 NVIDIA NIM 微服務提供，使開發者能夠將 fVDB 核心框架整合到 Universal Scene Description (USD) 工作流程中。在 NVIDIA Omniverse 中，fVDB NIM 微服務將生成基于 USD 的幾何圖形。
- fVDB 網格生成 NIM：根據點云數據生成基于 OpenUSD 的網格，由 Omniverse Cloud APIs 渲染。
- fVDB Physics Super-Res NIM：對一幀或一系列幀執行 AI 超分辨率，以生成基于 OpenUSD 的高分辨率物理模擬。
- fVDB NeRF-XL NIM：使用 NVIDIA Omniverse Cloud APIs 在 OpenUSD 中生成大規模的 NeRF。
詳細了解如何使用 USD NIM 微服務將生成式人工智能集成到 OpenUSD 工作流程中。
結束語
由 NVIDIA 開發的 fVDB 是一種深度學習框架，用于實現稀疏的大規模、高性能的空間智能，它基于 OpenVDB 構建了 NVIDIA 加速的 AI 運算符，以支持現實規模的數字孿生、神經輻射場、3D 生成式 AI 等。
申請搶先體驗 fVDB，包括訪問 fVDB PyTorch 擴展程序。
很快，您將能夠通過 GitHub 上的 AcademySoftwareFoundation/openvdb 關注 OpenVDB 的開發。等待時，請查看 合并 OpenVDB 的拉取請求。OpenVDB 預計很快會合并 fVDB 中。
與我們一起參加 SIGGRAPH 2024，參加 Introduction to fVDB： Hands-On With Large-Scale Spatial Intelligence 工作坊，該工作坊通過交互式教程介紹 fVDB 中的概念，以便開始使用。
如需了解詳情，請參閱Academy Software Foundation 發布的 fVDB 公告。
