劉振海

劉振海,小紅書大模型訓練框架開發工程師 目前負責小紅書大模型訓練框架的開發與優化工作

Posts by 劉振海

生成式人工智能/大語言模型

基于 1F1B 的 MoE A2A 通信計算 Overlap

在 MoE 模型的訓練過程中,EP rank 之間的 A2A 通信在端到端時間中占據了相當大比重,對訓練效率影響很大, 3 MIN READ