Holoscan – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Wed, 25 Jun 2025 05:06:06 +0000 zh-CN hourly 1 196178272 通過 NVIDIA Holoscan for Media 上的全新 AI 應用實例,實現實時 AI 媒體效果增強 http://www.open-lab.net/zh-cn/blog/power-real-time-ai-media-effects-with-new-ai-reference-apps-on-nvidia-holoscan-for-media/ Tue, 17 Jun 2025 05:03:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=14391 Continued]]> 直播媒體工作流越來越多地使用 AI 微服務來增強制作能力。然而,先進的 AI 模型大多托管在云端,由于網絡延遲、帶寬和實時可擴展性方面的限制,處理高比特率、未壓縮的媒體流變得很困難。 NVIDIA 發布了新的 AI 參考應用,有助于簡化 AI 開發。這些技術可以與未壓縮的 ST 2110 流交互,并以極低的延遲實現實時媒體效果。 Holoscan for Media 上提供的最新 AI 參考應用為構建專為直播媒體工作流定制的實時 AI 解決方案提供了強大的起點。 AI 虛擬攝像頭 使用 PyTorch 和 NVIDIA DeepStream SDK 構建的簡單應用可為視頻中的每位演講者創建虛擬攝像頭。在檢測并追蹤高分辨率、未壓縮的 ST 2110 輸入流中存在的個體后,該參考應用會創建多個針對已檢測個體的裁剪虛擬攝像頭輸出。借助 AI 生成的攝像頭源,

Source

]]>
14391
NVIDIA Holoscan 傳感器橋接技術賦予開發者實時數據處理能力 http://www.open-lab.net/zh-cn/blog/nvidia-holoscan-sensor-bridge-empowers-developers-with-real-time-data-processing/ Thu, 12 Jun 2025 08:06:17 +0000 http://www.open-lab.net/zh-cn/blog/?p=14264 Continued]]> 在快速發展的機器人和邊緣 AI 領域,高效處理和傳輸傳感器數據的能力至關重要。許多邊緣應用正在擺脫單傳感器固定功能解決方案,轉而采用多樣化的傳感器陣列。其中包括視覺、音頻、溫度、力/扭矩和通信傳感器、IMU、lidaradar 系統、超聲波、電機和執行器。 NVIDIA Holoscan 傳感器橋接器 (HSB) 是一種先進的以太網串流傳感器技術,旨在實現實時數據串流并簡化高速傳感器和執行器集成。NVIDIA Holoscan 將 HSB 作為連接物理傳感器和處理管道的接口。在實現硬件和 AI 處理之間的緊密集成至關重要的低延遲端到端工作流方面,它發揮著至關重要的作用。 本博文將深入探討高速傳感器處理所面臨的挑戰。還重點介紹了 HSB 如何通過超低延遲、易用性、可擴展性和強大的安全功能為機器人、醫學成像和工業自動化等行業解決這些問題 由于幾個關鍵因素,

Source

]]>
14264
SETI 如何利用人工智能搜索智能外星生命 http://www.open-lab.net/zh-cn/blog/how-seti-uses-ai-to-search-for-intelligent-alien-life/ Mon, 28 Apr 2025 08:55:58 +0000 http://www.open-lab.net/zh-cn/blog/?p=13675 Continued]]> 一位來自 SETI Institute 的研究人員在 GTC 2025 上向觀眾講述了 SETI 如何成功試用一種識別星際無線電波的新方法,從理論上講,該方法也可用于識別智能外星生命的通信。 SETI 是世界上尋找其他行星智能生命跡象的重要組織,其員工工程師 Luigi Cruz 描述了他的團隊如何使用 NVIDIA Holoscan 和 AI 準確識別遙遠的脈沖星發出的無線電信號。 SETI 團隊使用位于加利福尼亞州帽子河艾倫望遠鏡陣列的 42 個不同但同步的天線,識別了位于 Crab Nebula (距離地球約 6,500 光年) 中的脈沖星發出的無線電信號。 “宇宙非常大,而且大部分都是空的,”Cruz 說。“我們需要超人的方法 — — 這就是 AI 的本質 — — 以創造性的方式搜索數據。” SETI 研究人員使用 NVIDIA Holoscan 和定制神經網絡,

Source

]]>
13675
使用 NVIDIA Holoscan 3.0 中的動態流控制輕松構建邊緣 AI 應用 http://www.open-lab.net/zh-cn/blog/easily-build-edge-ai-apps-with-dynamic-flow-control-in-nvidia-holoscan-3-0/ Thu, 20 Mar 2025 08:20:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=13248 Continued]]> NVIDIA 在 GTC 2025 上宣布推出實時 AI 傳感器處理平臺 NVIDIA Holoscan 3.0 。這個最新版本提供動態流控制,使開發者能夠設計更強大、更可擴展和更高效的系統。隨著 物理 AI 的快速發展 ,Holoscan 3.0 專為適應而構建,使其能夠比以往更輕松地應對當今動態環境的挑戰。 無論您使用的是醫學成像、機器人還是工業傳感器,Holoscan 3.0 都可以更輕松地在邊緣高效處理 AI 工作負載。本文將介紹 Holoscan 3.0 版本中的更新和功能,包括: NVIDIA Holoscan 3.0 引入了 NVIDIA Holoscan SDK 的重大升級,具有動態流控制。借助此功能,您現在可以在運行時修改工作流中的 operator 連接,從而實現更靈活、更具適應性的工作流。與使用固定連接的傳統靜態管道不同,此功能支持動態路由、

Source

]]>
13248
借助 NVIDIA NIM 和 NVIDIA Holoscan for Media 增強直播媒體工作流程效率 http://www.open-lab.net/zh-cn/blog/supercharging-live-media-workflows-with-nvidia-nim-and-nvidia-holoscan-for-media/ Wed, 05 Mar 2025 05:44:44 +0000 http://www.open-lab.net/zh-cn/blog/?p=13134 Continued]]> NVIDIA Holoscan for Media 是一個 NVIDIA 加速平臺,專為多供應商實時制作和 AI 而設計。它將在 GTC 上展示,重點介紹可增強實時制作工作流的 NVIDIA NIM、AI SDK 和微服務。 容器編排平臺基于 Kubernetes 構建,通過 NVIDIA 組件 (例如 GPU 和網絡運算符)、ST 2110 的性能調優和監控堆棧簡化了媒體計時、同步和管理。參考應用使用 NVIDIA Rivermax、NVIDIA NMOS 和 NVIDIA DeepStream SDK,使您能夠從一開始就運行真實的直播媒體工作流。 Holoscan for Media 通過將新一代模型與未壓縮的直播媒體管線連接起來,提供創新的觀眾體驗和制作流程,從而加速行業對 AI 的采用。 NIM 作為通過 Helm 圖表部署在 Kubernetes…

Source

]]>
13134
利用 NVIDIA Holoscan 和多模態成像融合實現實時手術指導 http://www.open-lab.net/zh-cn/blog/real-time-surgical-guidance-by-fusing-multi-modal-imaging-with-nvidia-holoscan/ Mon, 07 Oct 2024 08:26:22 +0000 http://www.open-lab.net/zh-cn/blog/?p=11465 Continued]]> 圖像引導手術和手術視覺領域的開發者在創建可顯著改進手術工作流程的系統和應用方面面臨著獨特的挑戰。其中一項挑戰是高效地將多模態成像數據(例如術前 3D 患者圖像與術中視頻)結合起來,這對于在微創或機器人輔助手術期間為外科醫生提供實時、準確的指導至關重要。 在本文中,我們將向您介紹如何使用最先進的 AI 和成像技術,并重點介紹 ImFusion 集成 NVIDIA Holoscan 以實現實時傳感器處理、AI 和 I/O。我們將探索 NVIDIA Holoscan 如何使流程性能提高一倍,并解釋如何通過結合兩種成像模式來提高手術準確性、減少并發癥并改善結果。 在微創或機器人圖像輔助手術期間,準確的導航和對患者解剖結構的詳細了解對于手術的成功至關重要。 在術前規劃期間,外科醫生通常依靠多模態成像技術(包括 3D 診斷成像模式,如計算機斷層掃描(CT)掃描),來識別異常、

Source

]]>
11465
NVIDIA Holoscan 幫助媒體實現直播工作流變革 http://www.open-lab.net/zh-cn/blog/transform-live-media-pipelines-with-nvidia-holoscan-for-media/ Mon, 09 Sep 2024 08:58:41 +0000 http://www.open-lab.net/zh-cn/blog/?p=11305 Continued]]> 適用于媒體的 NVIDIA Holoscan 現已準備好用于實時生產,并充分利用網絡和 GPU 技術的優勢。 Holoscan for Media 是一個軟件定義、支持 AI 的平臺,支持實時視頻制作流程在與 AI 相同的基礎設施上運行。這項技術通過可重復使用的、NVIDIA 加速的商用現成硬件,提供來自生態系統中成熟和新興供應商的應用程序。 該平臺本身支持各種類型的 IP 媒體協議,包括未壓縮的 ST 2110,以便有效取代傳統的 SDI 設置或與之集成,從而在整個網絡中提供必要的質量、同步和定時功能。 NVIDIA 執行了嚴格的密度和合規性評估,以確保為高壓生產環境提供必要的性能和可靠性。該平臺在硬件故障轉移的基礎上整合了 ST 2022-7 冗余,現在使用 Red Hat OpenShift 4.14 進行生產部署,

Source

]]>
11305
視頻:使用 NVIDIA Holoscan 構建實時媒體應用程序的 AI 基礎架構解決方案 http://www.open-lab.net/zh-cn/blog/video-build-live-media-applications-for-ai-enabled-infrastructure-with-nvidia-holoscan-for-media/ Wed, 14 Aug 2024 06:38:01 +0000 http://www.open-lab.net/zh-cn/blog/?p=10979 Continued]]> 適用于媒體的 NVIDIA Holoscan 是一個軟件定義、AI 啟用的平臺,允許直播視頻流程在與 AI 相同的基礎設施上運行。 本視頻介紹了直播媒體領域的開發者如何使用 NVIDIA Holoscan for Media,在可重復使用的 NVIDIA 加速的現有商用硬件上構建應用程序,并將其作為軟件進行部署。該視頻還特邀了 NVIDIA 直播媒體解決方案產品線經理 Guillaume Polaillon。 Holoscan for Media 通過提供基于 IP 的云原生架構(不受專用硬件、環境或位置的限制),為這個快速發展的市場帶來了應用程序開發的變革。相反,它集成了開源和無處不在的技術,使您能夠簡化開發流程、加速向客戶交付,并將新興技術如生成式 AI 集成到您的解決方案中,同時優化研發開支。 獲取開發者對 NVIDIA Holoscan for Media…

Source

]]>
10979
NVIDIA Holoscan 和 RTI Connext 共同推動 AI 醫療設備的發展前景 http://www.open-lab.net/zh-cn/blog/powering-the-future-of-ai-enabled-medical-devices-with-nvidia-holoscan-and-rti-connext/ Wed, 03 Jul 2024 04:02:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=10495 Continued]]> 各行各業對實時見解和自主決策的需求與日俱增,醫療健康和醫療設備也不例外。依靠實時邊緣 AI,新一代醫療健康有望提供更精確的治療、改善患者治療效果并提高運營效率。 例如,未來的手術室將越來越多地采用支持人工智能和互聯的設備,以便實時訪問和交換整體患者數據、手術見解、決策和行動。 在這樣的未來,軟件即醫療設備(SaMD)必須在嚴格的要求下運行,在分布式醫療系統中部署時,需要處理具有嚴格性能和延遲限制的大規模數據,同時確保高效、可靠和安全的數據連接,并在不影響性能或延遲的情況下在各種傳感器、顯示器、控制器和應用之間進行交換。 本文將介紹如何集成NVIDIA Holoscan和RTI Connext,以創建具有高互操作性、低延遲和分布式連接的 AI 驅動的醫療設備應用程序。此集成可在盡可能減少開銷的情況下實現這些優勢,并減少實施工作和復雜性。

Source

]]>
10495
在 NVIDIA Holoscan SDK 中 構建集成 OpenCV 的零拷貝 AI 傳感器處理流程 http://www.open-lab.net/zh-cn/blog/build-a-zero-copy-ai-sensor-processing-pipeline-with-opencv-in-nvidia-holoscan-sdk/ Wed, 05 Jun 2024 07:19:36 +0000 http://www.open-lab.net/zh-cn/blog/?p=10193 Continued]]> NVIDIA Holoscan 是 NVIDIA 的多模態實時 AI 傳感器處理平臺,旨在幫助開發者構建端到端傳感器處理流程。該平臺的核心組件是 NVIDIA Holoscan SDK,其功能包括: Holoscan SDK 可用于為多種行業和應用場景構建流式 AI 流程,包括醫療設備、邊緣高性能計算和工業檢測等領域。有關更多信息,請參閱 使用 NVIDIA Holoscan 開發生產就緒型 AI 傳感器處理應用,以獲取詳細信息。 Holoscan SDK 通過充分利用軟件和硬件來加速流式 AI 應用。它可以與 RDMA 技術 結合,通過 GPU 加速進一步提高端到端流程性能。通常,端到端傳感器處理流程包括: 此流程中的所有數據都存儲在 GPU 顯存中,Holoscan 原生運算符可以直接訪問,而無需主機設備內存傳輸。

Source

]]>
10193
NVIDIA IGX 平臺上的生產就緒型企業級軟件,支持 NVIDIA RTX 6000 ADA 等 http://www.open-lab.net/zh-cn/blog/production-ready-enterprise-grade-software-on-nvidia-igx-platform-support-for-nvidia-rtx-6000-ada-and-more/ Sun, 02 Jun 2024 08:50:30 +0000 http://www.open-lab.net/zh-cn/blog/?p=10258 Continued]]> 實時邊緣 AI 對于醫療、工業和科學計算至關重要,因為這些任務關鍵型應用程序需要即時數據處理、低延遲和高可靠性,以確保及時準確的決策。這些挑戰不僅涉及硬件平臺上的高帶寬傳感器處理和 AI 計算,而且還需要企業級 AI 軟件來支持整個邊緣計算軟件堆棧。 專門為工業和醫療環境設計,NVIDIA IGX 為組織提供邊緣人工智能所需的性能、可靠性、安全性和可維護性。IGX 無需花費數年時間設計自定義系統和定制人工智能模型,而是借助 NVIDIA AI Enterprise 上的 GPU 加速計算,加速各行業先進的人工智能解決方案的開發,從而大幅減少時間和成本。 在 COMPUTEX 2024 上,IGX 通過生產就緒型 NVIDIA AI Enterprise IGX、對 NVIDIA RTX 6000 Ada dGPU 的支持、IGX 系統的擴展等,對平臺進行了重大更新。

Source

]]>
10258
廣播行業的突破:NVIDIA Holoscan for Media 現已上市,并將通過簡化 AI 集成來深入改變直播媒體 http://www.open-lab.net/zh-cn/blog/nvidia-holoscan-for-media/ Thu, 25 Apr 2024 08:36:11 +0000 http://www.open-lab.net/zh-cn/blog/?p=9730 Continued]]> 該軟件定義平臺幫助全球廣播和流媒體領域的開發者實現 AI 賦能的媒體解決方案。 無論是提供體育直播節目、流媒體服務、網絡廣播還是社交平臺內容,媒體公司都面臨著頗具挑戰的形勢。 越來越多的觀眾傾向于互動內容和個性化內容;虛擬現實(VR)和增強現實(AR)技術日益成為主流;新的視頻壓縮標準正在給傳統計算基礎設施帶來挑戰;AI 正在產生全方位的影響。 在多變的環境下,媒體公司可以利用 AI 賦能的媒體解決方案靈活滿足其不斷變化的開發和交付需求,這將使他們獲益匪淺。 NVIDIA Holoscan for Media 現已上市,該軟件定義平臺可幫助開發者輕松構建直播媒體應用,利用 AI 為其增效并部署到各個媒體平臺。 全新媒體應用開發方法 Holoscan for Media 提供了一種全新的直播媒體開發方法。

Source

]]>
9730
借助適用于媒體的 NVIDIA Holoscan,在可重復使用的集群上運行新一代直播媒體應用程序 http://www.open-lab.net/zh-cn/blog/next-generation-live-media-apps-on-repurposable-clusters-with-nvidia-holoscan-for-media/ Tue, 09 Apr 2024 07:34:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=9434 Continued]]> NVIDIA Holoscan 面向所有希望在完全可重復使用的集群上構建新一代實時媒體應用程序的開發者。 Holoscan for Media 是一個軟件定義平臺,用于為直播媒體構建和部署應用。它通過提供基于 IP 的云原生架構 (不受專用硬件、環境或位置的限制),徹底改變應用開發。這使您能夠簡化開發流程、簡化向客戶交付以及集成新興技術,同時優化您的研發支出。 該擴展計劃在 IBC 2023 上首次發布,以供搶先體驗。該擴展計劃包括發布擴展源代碼示例、全面的多架構支持、其他服務以及完全自動化的集群部署。 Holoscan for Media 提供參考容器化應用程序,可輕松部署大多數媒體流技術,以進行測試和開發。Media Gateway Next 基于 NVIDIA DeepStream 構建,可輕松為媒體流應用程序 (包括 ST 2110 和 NMOS) 提供測試源和目標。

Source

]]>
9434
使用 NVIDIA Holoscan 1.0 開發生產就緒型 AI 傳感器處理應用 http://www.open-lab.net/zh-cn/blog/developing-production-ready-ai-sensor-processing-applications-with-nvidia-holoscan-1-0/ Wed, 20 Mar 2024 05:01:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=9327 Continued]]> 邊緣 AI 開發者正在為安全關鍵型和受監管用例構建 AI 應用和產品。借助 NVIDIA Holoscan 1.0,這些應用可以在幾毫秒內整合實時見解和處理功能。 借助近期發布的 NVIDIA Holoscan 1.0,開發者可以更輕松地構建用于多模態實時傳感器處理的生產就緒型應用程序。NVIDIA AI Enterprise 現在可為 Holoscan 軟件堆棧提供安全補丁和關鍵錯誤修復,并具有有保證的 API 穩定性。這降低了產品維護成本,并簡化了邊緣 AI 應用程序的大規模部署。 Holoscan 是一個與領域無關的 NVIDIA 多模態實時 AI 傳感器處理平臺,為開發者構建端到端傳感器處理流程奠定了基礎。該平臺以性能、可用性和生產就緒型等架構目標為基礎而構建。在傳感器處理流程的每個步驟中,Holoscan 都能提供優化的性能,同時更大限度地降低開發復雜性。該流程包括:

Source

]]>
9327
借助 NVIDIA Holoscan for Media 中的新功能簡化直播媒體應用程序開發 http://www.open-lab.net/zh-cn/blog/streamline-live-media-application-development-with-new-features-in-nvidia-holoscan-for-media/ Tue, 12 Mar 2024 06:09:09 +0000 http://www.open-lab.net/zh-cn/blog/?p=9187 Continued]]> 適用于媒體的 NVIDIA Holoscan 是一個軟件定義的平臺,用于構建和部署適用于直播媒體的應用程序。最近的更新引入了用戶友好的開發者界面和應用程序部署到平臺的新功能。 適用于媒體的 Holoscan 現在包括 Helm 控制面板,可提供用于編排和管理 Helm 圖表的直觀用戶界面。Helm 是幫助開發者定義、安裝和升級 Kubernetes 應用程序的技術,可簡化和加速應用程序打包和部署的開發和測試。 借助此更新,適用于媒體的 Holoscan 還獲得了一個新的媒體流式傳輸參考應用程序容器。媒體網關 Next 使開發者能夠使用 ST 2110/NMOS 集成運行任何 GStreamer 管道,并配置需要測試正在開發的應用程序的發送器和接收器。 此外,平臺和開發者文檔也已擴展,包括有關在單個 Linux 主機上進行有限本地設置的說明,以及擴展集群安裝指南。除此之外,

Source

]]>
9187
人人超碰97caoporen国产