cv-cuda – NVIDIA 技術博客

NVIDIA 加速庫助力 Microsoft Bing 視覺搜索性能優化

Mon, 07 Oct 2024 08:04:27 +0000

Microsoft Bing 視覺搜索使全球用戶能夠使用照片作為查詢來查找內容。該功能的核心是 Microsoft 的 TuringMM 視覺嵌入模型，該模型可將圖像和文本映射到共享的高維空間中。在對網上數十億張圖像進行操作時，性能至關重要。本文詳細介紹了使用 NVIDIA TensorRT 和 NVIDIA 加速庫 (如 CV-CUDA 和 nvImageCodec) 優化 TuringMM 工作流的工作。這些工作將速度提高了 5.13 倍，并顯著降低了總體擁有成本（TCO）。我們分享了我們如何與 Microsoft Bing 團隊合作，解決其核心嵌入工作流的優化問題，從而為互聯網規模的視覺搜索提供支持。 Microsoft Bing 多媒體的博士生、高級數據和應用科學家 Andrew Stewart 表示：

Source

]]>

NVIDIA DeepStream 7.0 里程碑式發布，用于下一代視覺 AI 開發

Tue, 14 May 2024 06:35:57 +0000

NVIDIA DeepStream 是一個功能強大的 SDK，可以解鎖 GPU 加速的構建塊，以構建端到端的視覺 AI 管道。憑借 40 多個現成的插件，您可以輕松部署具有尖端 AI 推理、對象跟蹤和流行的物聯網消息代理（如 REDIS、Kafka 和 MQTT）無縫集成的完全優化的管道。 DeepStream 提供直觀的 REST API 來控制您的 AI 管道，無論是部署在遠端還是云端。 DeepStream 7.0 的最新版本是我們迄今為止最重要的版本之一，旨在為您在生成人工智能時代提供突破性的功能。此版本包含旨在加速下一代應用程序開發的創新功能。發布亮點包括以下內容：立即下載 DeepStream 7.0 版。在構建視覺人工智能應用程序時，業務的首要任務是優化人工智能管道，以獲得一流的性能。無論你是一名經驗豐富的職業選手，

Source

]]>

使用 CV-CUDA 提高基于人工智能的計算機視覺的吞吐量并降低成本

Thu, 04 May 2023 03:41:08 +0000

涉及基于人工智能的實時云規模應用程序計算機視覺正在迅速增長。用例包括圖像理解、內容創建、內容審核、映射、推薦系統和視頻會議。然而，由于對處理復雜性的需求增加，這些工作負載的計算成本也在增長。從靜止圖像到視頻的轉變現在也正在成為消費者互聯網流量的主要組成部分。鑒于這些趨勢，迫切需要構建高性能但具有成本效益的計算機視覺工作負載。基于人工智能的計算機視覺管道通常涉及圍繞人工智能推理模型的數據預處理和后處理步驟，這可能占整個工作負載的 50-80% 。這些步驟中常見的運算符包括以下內容：雖然開發人員可能會使用 NVIDIA GPU 來顯著加速他們管道中的人工智能模型推理，但預處理和后處理仍然通常使用基于 CPU 的庫來實現。這導致整個人工智能管道的性能出現瓶頸。通常是人工智能圖像或視頻處理管道一部分的解碼和編碼過程也可能在 CPU 上受到瓶頸，影響整體性能。

Source

]]>

SDK 加速行業 5.0 、數據管道、計算科學等在 GTC 2023 上亮相

Wed, 22 Mar 2023 06:45:09 +0000

在 2023 年的 NVIDIA GTC 2023 上， NVIDIA 公布了其 NVIDIA AI 軟件套件的顯著更新，供開發者加速計算。這些更新降低了幾個領域的成本，例如使用 NVIDIA RAPIDS 的數據科學工作負載、使用 NVIDIA Triton 的模型分析、使用 NVID IA CV- CUDA 的人工智能成像和計算機視覺等。為了跟上 NVIDIA 最新的 SDK 進步，請觀看首席執行官黃仁勛的 GTC keynote 。 NVIDIA RAPIDS Accelerator for Apache Spark 現已在 NVIDIA AI Enterprise 3.1 軟件套件中提供。使用 Apache Spark 3 在不更改代碼的情況下加快數據處理和分析或模型培訓，同時降低基礎設施成本。亮點：立即申請，

Source

]]>

NVIDIA L4 GPU 實現 AI 視頻和 AI 推理性能的超級充電

Tue, 21 Mar 2023 06:59:15 +0000

NVIDIA T4 于 4 年前作為通用 GPU 引入主流服務器。 T4 GPU 已被廣泛采用，目前是 NVIDIA 數據中心中容量最大的 GPU s 。 T4 GPU 被部署到人工智能推理、云游戲、視頻和視覺計算的用例中。在 NVIDIA GTC 2023 主題演講中， NVIDIA 為人工智能工作負載推出了 several inference platforms ，包括 NVIDIA T4 的繼任者： NVIDIA L4 Tensor Core GPU 。 L4 GPU 現在是一款通用、節能的加速器，旨在滿足視頻、視覺計算、圖形、虛擬化、生成人工智能和邊緣計算的眾多應用的人工智能需求。在這篇文章中，我們介紹了與上一代（ T4 ）相比， L4 GPU 的主流服務器如何提供更多的 AI 視頻性能，并實現更多的視頻流。您將在從視頻流到藥物發現的各種用例中找到經過驗證的結果，

Source

]]>

CV-CUDA 高性能圖像處理加速庫

Tue, 22 Nov 2022 03:11:21 +0000

“目前CV-CUDA 已經開源，Github網址為：GitHub – CVCUDA/CV-CUDA: CV-CUDA is an open-source, GPU accelerated library for cloud-scale image processing and computer vision.” 隨著短視頻 APP、視頻會議平臺以及 VR/AR 等技術的發展，視頻與圖像已逐漸成為全球互聯網流量的主要組成部分。包含我們平時接觸到的這些視頻圖像，也有很多是被 AI 和計算機視覺（CV）算法處理并增強過的。然而，隨著社交媒體和視頻分享服務的快速增長，作為 AI 圖像算法基礎的視頻圖像處理部分，也早已成為計算流程中不可忽視的成本和瓶頸。 1. CV-CUDA 應用場景我們先帶大家簡單回顧一下圖像處理的一些常見的例子，

Source

]]>