Dhaval Suthar – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Wed, 09 Oct 2024 08:08:44 +0000
zh-CN
hourly
1
196178272 -
NVIDIA 加速庫助力 Microsoft Bing 視覺搜索性能優化
http://www.open-lab.net/zh-cn/blog/optimizing-microsoft-bing-visual-search-with-nvidia-accelerated-libraries/
Mon, 07 Oct 2024 08:04:27 +0000
http://www.open-lab.net/zh-cn/blog/?p=11459
Continued]]>
Microsoft Bing 視覺搜索使全球用戶能夠使用照片作為查詢來查找內容。該功能的核心是 Microsoft 的 TuringMM 視覺嵌入模型，該模型可將圖像和文本映射到共享的高維空間中。在對網上數十億張圖像進行操作時，性能至關重要。 本文詳細介紹了使用 NVIDIA TensorRT 和 NVIDIA 加速庫 (如 CV-CUDA 和 nvImageCodec) 優化 TuringMM 工作流的工作。這些工作將速度提高了 5.13 倍，并顯著降低了總體擁有成本（TCO）。我們分享了我們如何與 Microsoft Bing 團隊合作，解決其核心嵌入工作流的優化問題，從而為互聯網規模的視覺搜索提供支持。 Microsoft Bing 多媒體的博士生、高級數據和應用科學家 Andrew Stewart 表示：
Source
]]>
11459
-
使用 CV-CUDA 提高基于人工智能的計算機視覺的吞吐量并降低成本
http://www.open-lab.net/zh-cn/blog/increasing-throughput-and-reducing-costs-for-computer-vision-with-cv-cuda/
Thu, 04 May 2023 03:41:08 +0000
http://www.open-lab.net/zh-cn/blog/?p=6928
Continued]]>
涉及基于人工智能的實時云規模應用程序計算機視覺正在迅速增長。用例包括圖像理解、內容創建、內容審核、映射、推薦系統和視頻會議。 然而，由于對處理復雜性的需求增加，這些工作負載的計算成本也在增長。從靜止圖像到視頻的轉變現在也正在成為消費者互聯網流量的主要組成部分。鑒于這些趨勢，迫切需要構建高性能但具有成本效益的計算機視覺工作負載。 基于人工智能的計算機視覺管道通常涉及圍繞人工智能推理模型的數據預處理和后處理步驟，這可能占整個工作負載的 50-80% 。這些步驟中常見的運算符包括以下內容： 雖然開發人員可能會使用 NVIDIA GPU 來顯著加速他們管道中的人工智能模型推理，但預處理和后處理仍然通常使用基于 CPU 的庫來實現。這導致整個人工智能管道的性能出現瓶頸。通常是人工智能圖像或視頻處理管道一部分的解碼和編碼過程也可能在 CPU 上受到瓶頸，影響整體性能。
Source
]]>
6928
人人超碰97caoporen国产