趙一嘉 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Fri, 22 Nov 2024 03:50:57 +0000 zh-CN hourly 1 196178272 TensorRT-LLM 低精度推理優化:從速度和精度角度的 FP8 vs INT8 的全面解析 http://www.open-lab.net/zh-cn/blog/tensorrt-llm-low-precision-inference-optimization-fp8-int8/ Wed, 20 Nov 2024 07:13:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=11910 Continued]]> 本文將分享 TensorRT-LLM 中低精度量化內容,并從精度和速度角度對比 FP8 與 INT8。首先介紹性能,包括速度和精度。其次,介紹量化工具 NVIDIA TensorRT Model Optimizer(簡稱 ModelOpt,https://github.com/NVIDIA/TensorRT-Model-Optimizer)及其快速實現量化功能的方法。第三部分為 Debug。隨后講解 FP8 的 Deep-Dive,并進行總結。 一、速度和精度 在講解精度之前,先介紹 NVIDIA Hopper 架構上的數據類型 FP8,它有兩種數據類型:E5M2 和 E4M3,在 TensorRT-LLM 中目前支持 E4M3。對 Tensor Core 硬件來說,相比于 FP32/FP16 作為輸入,FP8 在數據傳輸上具有優勢。另外,

Source

]]>
11910
人人超碰97caoporen国产