Posts by Joe Delaere
AI 平臺/部署
2025年 5月 18日
借助 NVIDIA NVLink Fusion 將半定制計算平臺集成到機架級架構
為了高效應對 AI 工作負載,數據中心正在被重構。這是一項非常復雜的工作,因此,
2 MIN READ
數據中心/云端
2024年 8月 12日
NVIDIA NVLink 和 NVIDIA NVSwitch 加速大語言模型推理性能
大型語言模型(LLM)越來越大,增加了處理推理請求所需的計算量。為了滿足服務當今LLM的實時延遲要求,并為盡可能多的用戶提供服務,
3 MIN READ
生成式人工智能/大語言模型
2023年 9月 8日
NVIDIA TensorRT-LLM 在 NVIDIA H100 GPU 上大幅提升大語言模型推理能力
大語言模型(LLM)提供異常強大的新功能,拓展了 AI 的應用領域。但由于其龐大的規模和獨特的執行特性,很難找到經濟高效的使用方式。
3 MIN READ
數據中心/云端/邊緣
2022年 8月 30日
分割 NVIDIA A30 GPU 并征服多個工作負載
多實例 GPU ( MIG )是 NVIDIA H100 , A100 和 A30 張量核 GPU ,因為它可以將 GPU 劃分為多個實例。
4 MIN READ