Dheeraj Peri – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Fri, 17 Jun 2022 02:54:09 +0000
zh-CN
hourly
1
196178272 -
使用 NVIDIA QAT 工具包為 TensorFlow 和 NVIDIA TensorRT 加速量化網絡
http://www.open-lab.net/zh-cn/blog/accelerating-quantized-networks-with-qat-toolkit-and-tensorrt/
Thu, 16 Jun 2022 02:50:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=4327
Continued]]>
我們很高興宣布 NVIDIA Quantization Aware Training （ QAT ） Toolkit for TensorFlow 2 目標是在 NVIDIA GPU 上使用 NVIDIA TensorRT 加速量化網絡。該工具包為您提供了一個易于使用的 API ，以一種優化的方式量化網絡，只需幾行額外的代碼即可進行 TensorRT 推理。 這篇文章伴隨著 走向 INT8 推理：使用 TensorRT 部署量化感知訓練網絡的端到端工作流 GTC 課程。有關 PyTorch 量化工具包等效工具，請參閱 PyTorch 量化 . 加速深層神經網絡（ DNN ）推理是實現實時應用（如圖像分類、圖像分割、自然語言處理等）延遲關鍵部署的重要步驟。 改進 DNN 推理延遲的需要引發了人們對以較低精度運行這些模型的興趣，如 FP16 和 INT8 。
Source
]]>
4327
人人超碰97caoporen国产