Michal Guzek – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 13 Jun 2024 06:58:57 +0000
zh-CN
hourly
1
196178272 -
借助 NVIDIA TensorRT 輕量級引擎，為 AI 應用提供卓越性能和最小占用空間
http://www.open-lab.net/zh-cn/blog/maximum-performance-and-minimum-footprint-for-ai-apps-with-nvidia-tensorrt-weight-stripped-engines/
Tue, 11 Jun 2024 06:45:32 +0000
http://www.open-lab.net/zh-cn/blog/?p=10343
Continued]]>
NVIDIA TensorRT一個成熟的數據中心推理庫，已迅速成為 NVIDIA GeForce RTX 和 NVIDIA RTX GPU 的理想推理后端。現在，部署 TensorRT 借助預構建的 TensorRT 引擎，應用變得更加簡單。 新發布的重量去除 TensorRT 10.0 引擎提供了一種獨特的解決方案，通過將其縮小到僅執行代碼來最大限度地減少引擎出貨量，從而實現 > 95%的引擎尺寸壓縮。 在本文中，我們將討論如何構建輕量級引擎，以及如何使用 TensorRT 40MB 精簡運行時直接在最終用戶設備上對其進行改裝。 TensorRT 10.0 中引入的權重剝離引擎包含無權重的執行代碼 (CUDA 內核).在構建階段啟用權重剝離后，引擎的體積比傳統引擎小 95%以上，并且僅保留必要的權重以優化性能。 這些引擎支持 ONNX 模型和其他網絡定義，
Source
]]>
10343
人人超碰97caoporen国产