FP8

2025年 1月 24日

FP8?在大模型訓練中的應用、挑戰及實踐

越來越多的技術團隊開始使用 FP8 進行大模型訓練，這主要因為 FP8 有很多技術優勢，比如在新一代的 GPU 上，
3 MIN READ
2024年 12月 10日

如何使用 FP8 加速大模型訓練

利用 FP8 技術加速 LLM 推理和訓練越來越受到關注，本文主要和大家介紹如何使用 FP8 這項新技術加速大模型的訓練。
4 MIN READ
2024年 11月 20日

TensorRT-LLM 低精度推理優化：從速度和精度角度的 FP8 vs INT8 的全面解析

本文將分享 TensorRT-LLM 中低精度量化內容，并從精度和速度角度對比 FP8 與 INT8。首先介紹性能，包括速度和精度。其次，
5 MIN READ
2024年 7月 4日

探索 FP8 訓練中 Debug 思路與技巧

目前，市場上許多公司都積極開展基于 FP8 的大模型訓練，以提高計算效率和性能。 在此，
2 MIN READ
2022年 9月 14日

NVIDIA 、 Arm 和 Intel 發布 FP8 標準化規范作為 AI 的交換格式

人工智能處理需要跨硬件和軟件平臺的全棧創新，以滿足神經網絡日益增長的計算需求。提高效率的一個關鍵領域是使用較低精度的數字格式來提高計算效率，
1 MIN READ