直播媒體工作流越來越多地使用 AI 微服務來增強制作能力。然而，先進的 AI 模型大多托管在云端，由于網絡延遲、帶寬和實時可擴展性方面的限制，處理高比特率、未壓縮的媒體流變得很困難。
NVIDIA 發布了新的 AI 參考應用，有助于簡化 AI 開發。這些技術可以與未壓縮的 ST 2110 流交互，并以極低的延遲實現實時媒體效果。
AI 參考應用
Holoscan for Media 上提供的最新 AI 參考應用為構建專為直播媒體工作流定制的實時 AI 解決方案提供了強大的起點。
AI 虛擬攝像頭
使用 PyTorch 和 NVIDIA DeepStream SDK 構建的簡單應用可為視頻中的每位演講者創建虛擬攝像頭。在檢測并追蹤高分辨率、未壓縮的 ST 2110 輸入流中存在的個體后，該參考應用會創建多個針對已檢測個體的裁剪虛擬攝像頭輸出。借助 AI 生成的攝像頭源，操作員可以使用單個靜態攝像頭創建更具動態的制作鏡頭。
自動語音識別
此參考應用使用 NVIDIA Riva Parakeet ASR NIM 在 ST 2110-30 音頻源上利用實時自動語音識別 (ASR) 。簡單的網絡用戶界面可實時監控轉錄，并使用戶能夠搜索單詞。用戶將看到傳入流的實時描述，以及用于搜索轉錄的搜索字段。簡單的前端為開發者提供了一個起點，讓他們可以進行優化和自定義，并將性能提升到更高水平。
如何開始
在開始使用 AI 參考應用進行構建之前，請確保您已準備好以下先決條件，以簡化開發流程并避免常見的設置問題：
- 配備 NVIDIA RTX Pro GPU 和 NVIDIA ConnectX 網絡接口卡 (具有回環線纜或交換機連接) 的 AI 工作站或經過認證的多 GPU 系統。
- 實用的 NVIDIA Holoscan for Media 環境，使用 Kubernetes 的本地開發者設置或帶有跳轉節點的平臺參考部署指南。
- 適用于 Linux 平臺的 Visual Studio Code 或任何其他 IDE。也可以使用 GNU Compiler Collection (GCC) 。
如需安裝 v25.4，請參閱 Holoscan for Media 集合頁面上提供的開發者指南。
要繼續安裝 AI 應用，請按照 NGC AI 參考應用資源頁面上的步驟操作。
其他更新
除了這些 AI 應用之外，Holoscan for Media 25.4 版本還改進了對生產 (OpenShift) 和本地開發者 (云原生堆棧) 環境的監控。它使用 SR-IOV 網絡、PTP 和 NMOS 注冊表應用程序特定的 Grafana 控制面板。
單節點 OpenShift 安裝和緊湊型三節點集群的自動化也得到了改進。這意味著 ST 2022-7 冗余支持更多網絡變體和紅/ 藍網絡。它還簡化了本地開發者設置 (現支持 Ubuntu 24.04) 的自動化以及參考應用 (如 Helm 儀表板、NMOS 注冊表、NMOS 控制器或媒體網關) 的自動安裝。
總結
自一年多前推出以來，Holoscan for Media 已支持多供應商實時制作的容器編排。最新的 25.4 版本為開發者提供了首個 AI 參考應用，實現了在本地軟件定義的基礎設施上為直播媒體提供實時 AI 的承諾。
開始使用 Holoscan for Media。
?
