Houman Abbasian – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Tue, 27 Jul 2021 09:22:35 +0000
zh-CN
hourly
1
196178272 -
使用 NVIDIA TensorRT 加速深度學習推理（更新）
http://www.open-lab.net/zh-cn/blog/speeding-up-deep-learning-inference-using-tensorrt-updated/
Tue, 20 Jul 2021 09:19:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=1124
Continued]]>
這篇文章于 2021 年 7 月 20 日更新，以反映 NVIDIA TensorRT 8 . 0 的更新。 NVIDIA TensorRT 是一個用于深度學習推理的 SDK 。 TensorRT 提供了 API 和解析器，可以從所有主要的深度學習框架中導入經過訓練的模型。然后，它生成可在數據中心以及汽車和嵌入式環境中部署的優化運行時引擎。 這篇文章簡單介紹了如何使用 TensorRT 。您將學習如何在 GPU 上部署深度學習應用程序，從而提高吞吐量并減少推理過程中的延遲。它使用 C ++示例來將您通過將 PyTorch 模型轉換成 ONX 模型并將其導入 TensorRT ，應用優化，并為數據中心環境生成高性能運行時引擎。 TensorRT 同時支持 C ++和 Python ；如果您使用其中任何一個，此工作流討論可能會很有用。如果您喜歡使用 Python ，
Source
]]>
1124
-
使用 TensorRT 加速深度學習推理
http://www.open-lab.net/zh-cn/blog/speeding-up-deep-learning-inference-using-tensorrt/
Tue, 21 Apr 2020 07:42:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=224
Continued]]>
這是的更新版本 如何用 TensorRT 加速深度學習推理 . 此版本從 PyTorch 模型開始，而不是 ONNX 模型，將示例應用程序升級為使用 TensorRT 7 ，并將 ResNet-50 分類模型替換為 UNet ，這是一個分段模型。 NVIDIA TensorRT 是一個用于深度學習推理的 SDK 。 TensorRT 提供 api 和解析器來從所有主要的深度學習框架中導入經過訓練的模型。然后生成可部署在數據中心、汽車和嵌入式環境中的優化運行時引擎。 這篇文章簡單介紹了如何使用 TensorRT 。您將學習如何在 GPU 上部署深度學習應用程序，從而提高吞吐量并減少推理過程中的延遲。它使用 C ++示例來將您通過將 PyTorch 模型轉換成 ONX 模型并將其導入 TensorRT ，應用優化，
Source
]]>
224
-
使用 TensorFlow、ONNX 和 TensorRT 加速深度學習推理
http://www.open-lab.net/zh-cn/blog/speeding-up-deep-learning-inference-using-tensorflow-onnx-and-tensorrt/
Fri, 27 Mar 2020 07:05:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=437
Continued]]>
從 TensorRT 7 . 0 開始， Universal Framework Format（ UFF ）被棄用。在本文中，您將學習如何使用新的 TensorFlow -ONNX- TensorRT 工作流部署經過 TensorFlow 培訓的深度學習模型。圖 1 顯示了 TensorRT 的高級工作流。 首先，使用任何框架訓練網絡。網絡訓練后，批量大小和精度是固定的（精度為 FP32 、 FP16 或 INT8 ）。訓練好的模型被傳遞給 TensorRT 優化器，優化器輸出一個優化的運行時（也稱為計劃）。. plan 文件是 TensorRT 引擎的序列化文件格式。計劃文件需要反序列化才能使用 TensorRT 運行時運行推斷。 要優化在 TensorFlow 中實現的模型，只需將模型轉換為 ONNX 格式，并使用 TensorRT 中的 ONNX…
Source
]]>
437
人人超碰97caoporen国产