生成式 AI 視頻模型的激增以及這些模型引入的新工作流程，顯著提高了創意和營銷技術行業的生產效率，并提高了輸出質量。
GliaCloud 是一家總部位于臺北的 AI 初創公司，參與了 NVIDIA 初創加速計劃，專注于自主營銷內容創作。此擴展程序模板將 NVIDIA Omniverse 中渲染的視覺數據 (包括 RGB 圖像、法線貼圖、深度圖、實例 ID 分割和語義分割) 與 ComfyUI 連接起來，以增強 AI 圖像處理工作流。
使用 NVIDIA Omniverse 庫生成視頻到視頻的工作流
創建 Omniverse-ComfyUI 橋接器的想法首先源于 GliaCloud 團隊在 ComfyUI 中試驗各種視頻到視頻 (v2v) 生成式 AI 模型的經驗。他們認識到，當前的生成式 AI 工作流對深度圖和分割輸出等詳細視覺數據的需求與日俱增。
GliaCloud 首席執行官兼聯合創始人 David Chen 表示：“我們發現，將使用 NVIDIA Omniverse 構建的支持物理 AI 的高級應用與生成式視頻模型連接在一起的混合工作流具有巨大潛力。Omniverse 平臺提供的創意控制粒度和生成式 AI 模型令人信服地證明了新興的營銷需求，為生成的內容提供了前所未有的視覺效果和可擴展性
在內部實驗中，GliaCloud 團隊觀察到，通過利用 Omniverse RTX 渲染器渲染的不同數據作為 v2v 模型輸入，在生成輸出的優化和對象控制方面取得了顯著改進。
這是通過 NVIDIA Omniverse Replicator 框架實現的，該框架支持根據分割輸入創建動態掩碼，從而大大改進了一系列開源視頻生成模型的整體輸出。v2v 模型現在可以使用為專用區域保留的單獨提示，對單個輸入進行多次傳遞迭代，從而實現基于對象的風格控制。
Omniverse-ComfyUI 橋接器可實現更快、更精確的迭代
Omniverse-ComfyUI 橋接器專為實現靈活性、可擴展性和易于集成到定制 ComfyUI 工作流而設計。其輕量級架構可確保無縫采用，而不會產生大量資源開銷，使用戶能夠根據特定要求有效擴展工作流程。
Omniverse-ComfyUI 橋接器的核心功能包括：
- 單幀和多幀捕捉：捕捉單個幀以進行精確編輯或動畫和動態視覺內容序列。
- ComfyUI 的自定義節點集成：將 Omniverse RTX 渲染器數據直接流式傳輸到自定義 ComfyUI 節點，從而促進簡單高效的工作流程設置。
- 實時數據處理：即時視覺反饋可加快實驗速度，顯著縮短迭代時間，從而提高生產力。
Omniverse-ComfyUI 橋接器的未來迭代預計將包括進一步的增強功能，例如高級動畫控制、與人類姿態估計模型的集成，以及用于邊緣檢測的其他功能。這些進展有望在 AI 驅動的視覺工作流中提供更高的控制力、準確性和創作自由。
隨著生成式 AI 的不斷發展，精確、高質量的數據流 (如 Omniverse-ComfyUI 橋接器提供的數據流) 的重要性將變得越來越重要。未來，隨著社區同時開發更新的模型并相應地調整其工作流，GliaCloud 團隊預計工作流結構的迭代速度將大幅提升。
開始使用
借助 GliaCloud 開源 Omniverse-ComfyUI 橋接器，您現在可以引入自己的 OpenUSD 資產，并使用 ComfyUI 節點將其集成到任何 v2v 工作流中。借助 Omniverse 的逼真渲染功能和 ComfyUI 模塊化用戶界面的優勢，您可以快速、精確地嘗試自定義流程。
GliaCloud 致力于擁抱和貢獻開源社區，實現創意大眾化。
通過訂閱 NVIDIA 新聞并在 Discord 和 YouTube 上關注 NVIDIA Omniverse，及時了解最新信息。
- 訪問我們的 Omniverse 開發者頁面，獲取入門所需的所有基礎知識。
- 訪問一系列 OpenUSD 資源，包括新的自定進度學習 OpenUSD 培訓課程。
- 收聽即將推出的 OpenUSD 預覽體驗計劃直播，并與 NVIDIA 開發者社區建立聯系。
開始使用開發者入門套件，快速開發和增強您自己的應用和服務。
致謝
作者想感謝 GliaCloud 的創意技術專家 Billy Ho 和 GliaCloud 的 DevOps 工程師 Ying Xiang Zhao 對此博文的貢獻。
