黃雪

黃雪,NVIDIA 解決方案架構師,碩士畢業于哈爾濱工業大學,主要負責深度學習訓練方面工作,在深度學習框架、超大規模模型訓練,分布式模型訓練加速優化等技術方向有豐富的研究經驗。

Posts by 黃雪

生成式人工智能/大語言模型

基于 1F1B 的 MoE A2A 通信計算 Overlap

在 MoE 模型的訓練過程中,EP rank 之間的 A2A 通信在端到端時間中占據了相當大比重,對訓練效率影響很大, 3 MIN READ
生成式人工智能/大語言模型

FP8?在大模型訓練中的應用、挑戰及實踐

越來越多的技術團隊開始使用 FP8 進行大模型訓練,這主要因為 FP8 有很多技術優勢,比如在新一代的 GPU 上, 3 MIN READ
加速計算

如何使用 FP8 加速大模型訓練

利用 FP8 技術加速 LLM 推理和訓練越來越受到關注,本文主要和大家介紹如何使用 FP8 這項新技術加速大模型的訓練。 4 MIN READ