顏子杰

顏子杰， NVIDIA加速計算專家 專注于大規模語言模型（LLM）訓練系統。目前，他是 Megatron Core MoE的核心開發者之一，主要負責該系統的工程開發與性能優化工作

Posts by 顏子杰

生成式人工智能/大語言模型 2025年 3月 7日

基于 1F1B 的 MoE A2A 通信計算 Overlap

在 MoE 模型的訓練過程中，EP rank 之間的 A2A 通信在端到端時間中占據了相當大比重，對訓練效率影響很大， 3 MIN READ