邵將

NVIDIA DevTech 團隊,動力工程及工程熱物理專業博士學位,畢業于北京航空航天大學。主要負責 AI、HPC 等領域的 GPU 并行計算程序性能優化。

Posts by 邵將

加速計算

使用 NVIDIA TensorRT-LLM 支持 CodeFuse-CodeLlama-34B 上的 int4 量化和推理優化實踐

Codefuse(https://github.com/codefuse-ai)是由螞蟻集團開發的代碼語言大模型, 3 MIN READ