3月21日,英偉達GTC大會上公佈了快手的大模型訓練解決方案,沿着大模型訓練熱點演進過程,分享了在計算通信重疊系列優化和超長文本場景下的最佳實踐,通過計算通信重疊、異構存儲利用、通信資源管控、算子優化等手段,可支持百萬級別超長文本訓練,並且在訓練性能上比 sota 開源方案快 30% 以上。
3月21日,英偉達GTC大會上公佈了快手的大模型訓練解決方案,沿着大模型訓練熱點演進過程,分享了在計算通信重疊系列優化和超長文本場景下的最佳實踐,通過計算通信重疊、異構存儲利用、通信資源管控、算子優化等手段,可支持百萬級別超長文本訓練,並且在訓練性能上比 sota 開源方案快 30% 以上。