Rakib Hasan

Rakib Hasan 是 NVIDIA 的高級 AI 開發者技術工程師,專門優化深度學習工作負載,包括大語言模型 (LLM) 推理。他通過添加對 Llama 模型的支持并實現 RoPE 縮放和推理解碼等功能,為 TensorRT-LLM 做出了貢獻。Rakib 擁有路易斯安那州立大學 (LSU) 的博士學位,專注于在 x64 和 ARM CPU 上優化數學庫。

Posts by Rakib Hasan

生成式人工智能/大語言模型

NVIDIA?TensorRT-LLM?現支持?Recurrent Drafting,實現?LLM?推理優化

Recurrent Drafting (簡稱 ReDrafter) 是蘋果公司為大語言模型 (LLM) 推理開發并開源的一種新型推測解碼技術, 2 MIN READ