Posts by 趙一嘉
加速計算
2024年 11月 20日
TensorRT-LLM 低精度推理優化：從速度和精度角度的 FP8 vs INT8 的全面解析
本文將分享 TensorRT-LLM 中低精度量化內容，并從精度和速度角度對比 FP8 與 INT8。首先介紹性能，包括速度和精度。其次，
5 MIN READ