王智

螞蟻集團技術專家,博士畢業于北京郵電大學。主要研究方向為強化學習和貝葉斯優化。目前主要關注LLM推理加速技術。

Posts by 王智

加速計算

使用 NVIDIA TensorRT-LLM 支持 CodeFuse-CodeLlama-34B 上的 int4 量化和推理優化實踐

Codefuse(https://github.com/codefuse-ai)是由螞蟻集團開發的代碼語言大模型, 3 MIN READ