今天， NVIDIA 發布了 TensorRT 8.2 ，對十億參數 NLU 模型進行了優化。其中包括 T5 和 GPT-2 ，用于翻譯和文本生成，使實時運行 NLU 應用程序成為可能。
TensorRT 是一款高性能的深度學習推理優化器和運行時，為人工智能應用程序提供低延遲、高吞吐量推理。 TensorRT 用于醫療、汽車、制造、互聯網/電信服務、金融服務和能源等多個行業。
PyTorch 和 TensorFlow 是擁有數百萬用戶的最流行的深度學習框架。新的 TensorRT 框架集成現在在 PyTorch 和 TensorFlow 中提供了一個簡單的 API ，并提供了強大的 FP16 和 INT8 優化，從而將推理速度提高了 6 倍。
?
亮點包括
- TensorRT 8.2:T5 和 GPT-2 的優化運行實時翻譯和摘要，與 CPU 相比，性能提高了 21 倍。
- TensorRT 8.2 ：適用于使用 Windows 的開發人員的簡單 Python API 。
- Torch TensorRT:PyTorch 的集成與 GPU 上的框架內推理相比，僅需一行代碼即可提供高達 6 倍的性能。
- TensorFlow TensorRT:TensorFlow 與 TensorRT 的集成提供了比使用一行代碼在 GPU 上進行框架內推理快 6 倍的性能。
資源
- Torch- TensorRT 今天在 NGC catalog 的 PyTorch 容器中提供。
- TensorFlow- TensorRT 目前可從 NGC catalog 的 TensorFlow 容器中獲得。
- TensorRT 免費提供給 NVIDIA 開發程序 的成員。
- 在 TensorRT 產品頁面了解更多信息。
了解更多
- GTC 課程 A31336 ：使用 TensorRT 在生產中加速深度學習推理
- GTC 會話 A31107 ：使用 TensorRT 加速 PyTorch 推理
- 使用 Torch TensorRT ，在 GPU 上 PyTorch 的推理速度提高了 6 倍
- 入門： Torch-TensorRT ， TensorFlow-TensorRT
- 基于 TensorRT 的 T5 和 GPT-2 實時推理
- 筆記本： 用 TensorRT 進行 T5 翻譯
- 筆記本： 用 TensorRT 生成 GPT-2 文本
?
