Jatin Gangani

Jatin Gangani 是 NVIDIA 深度學習計算團隊的高級計算機架構師。他熱衷于突破數據中心 AI 推理的硬件和軟件性能極限。他最近專注于提升 TensorRT-LLM 軟件的性能。Jatin 擁有理科碩士學位。北卡羅來納州立大學計算機工程專業。

Posts by Jatin Gangani

生成式人工智能/大語言模型 2025年 2月 14日

使用 NVIDIA TensorRT-LLM 前瞻性解碼優化 Qwen2.5-Coder 吞吐量

專注于編碼的 大語言模型（LLMs） 已穩步應用于開發者工作流程。從配對編程到自我改進的 AI 智能體 ，這些模型可幫助開發者完成各種任務， 3 MIN READ
生成式人工智能/大語言模型 2024年 12月 17日

借助 NVIDIA TensorRT-LLM 預測解碼，將 Llama 3.3 的推理吞吐量提升 3 倍

隨著近期新增的 Llama 3.3 70B (一種純文本指令調整模型)，Meta 的開放 大語言模型 (LLMs) 集合將繼續增長。 4 MIN READ