劉川

NVIDIA 解決方案架構經理,整體負責中國區云計算行業 GPU 解決方案。于南京大學獲計算機科學與技術專業碩士學位。帶領團隊主要從事大語言模型、生成式 AI 以及搜索推薦等重點 AI 任務的 GPU 適配、優化和加速方案的設計、部署和落地,幫助多加頭部互聯網公司在諸多業務中大幅降本增效。

Posts by 劉川

加速計算

使用 NVIDIA TensorRT-LLM 支持 CodeFuse-CodeLlama-34B 上的 int4 量化和推理優化實踐

Codefuse(https://github.com/codefuse-ai)是由螞蟻集團開發的代碼語言大模型, 3 MIN READ