Shivam Raj

Shivam Raj 是 NVIDIA GPU 架構團隊的高級架構師。他專注于數據中心 AI 工作負載的訓練和推理性能。Shivam 擁有南加州大學電氣工程碩士學位。

Posts by Shivam Raj

數據中心/云端

NVIDIA NVLink 和 NVIDIA NVSwitch 加速大語言模型推理性能

大型語言模型(LLM)越來越大,增加了處理推理請求所需的計算量。為了滿足服務當今LLM的實時延遲要求,并為盡可能多的用戶提供服務, 3 MIN READ
數據中心/云端

揭開萬億參數大型語言模型 AI 推理部署的神秘面紗

人工智能(AI)正在改變各行各業,解決精準藥物發現、自動駕駛汽車開發等重大人類科學挑戰, 4 MIN READ