胡文

清華大學計算機專業,擁有工學博士學位。目前在螞蟻集團擔任算法專家,帶領團隊在算法層、軟件層、服務層三個維度優化大模型推理部署性能。

Posts by 胡文

加速計算

使用 NVIDIA TensorRT-LLM 支持 CodeFuse-CodeLlama-34B 上的 int4 量化和推理優化實踐

Codefuse(https://github.com/codefuse-ai)是由螞蟻集團開發的代碼語言大模型, 3 MIN READ