Haohang Huang

Haohang Huang 是 NVIDIA 的高級 AI 開發者技術工程師。他致力于在 GPU 上加速生成式 AI 應用程序,主要研究計算機視覺和大語言模型。他獲得了伊利諾伊大學香檳分校的博士學位。

Posts by Haohang Huang

生成式人工智能/大語言模型

NVIDIA?TensorRT-LLM?現支持?Recurrent Drafting,實現?LLM?推理優化

Recurrent Drafting (簡稱 ReDrafter) 是蘋果公司為大語言模型 (LLM) 推理開發并開源的一種新型推測解碼技術, 2 MIN READ
生成式人工智能/大語言模型

NVIDIA TensorRT-LLM 現支持動態批處理加速編碼器 - 解碼器模型

NVIDIA 最近宣布, NVIDIA TensorRT-LLM 現可加速編碼器 – 解碼器模型架構 。 1 MIN READ