Posts by Karin Sevegnani
數據科學
2025年 7月 1日
適用于有效 FP8 訓練的按張量和按塊擴展策略
在本博文中,我們將分解主要的 FP8 縮放策略 (按張量縮放、延遲和電流縮放以及按塊縮放 (包括 Blackwell 支持的 MXFP8…
2 MIN READ
開發與優化
2025年 5月 27日
在 NVIDIA Grace Hopper 上分析大型語言模型訓練工作流
AI 的快速發展催生了模型大小呈指數級增長的時代,特別是在大語言模型 (LLMs) 領域。這些模型憑借其變革能力,正在推動各行各業的創新。
3 MIN READ
開發與優化
2025年 5月 27日
在 NVIDIA Grace Hopper 上訓練大型語言模型的高級優化策略
雖然分析有助于識別效率低下的情況,但高級優化策略對于解決硬件限制和有效擴展 AI 工作負載至關重要。在本文中,我們將探討 CPU 卸載、
3 MIN READ
AI 平臺/部署
2025年 4月 24日
使用 NVIDIA NIM 對游戲進行代理式 LLM 和 VLM 推理基準測試
這是 LLM 基準測試系列的第一篇文章,介紹了在使用 NVIDIA NIM 部署 Meta Llama 3 模型時,
2 MIN READ