齊家興 – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Mon, 16 Dec 2024 03:45:42 +0000
zh-CN
hourly
1
196178272 -
如何使用 FP8 加速大模型訓練
http://www.open-lab.net/zh-cn/blog/fp8-accelerate-llm-training/
Tue, 10 Dec 2024 10:17:18 +0000
http://www.open-lab.net/zh-cn/blog/?p=12265
Continued]]>
利用 FP8 技術加速 LLM 推理和訓練越來越受到關注，本文主要和大家介紹如何使用 FP8 這項新技術加速大模型的訓練。 使用 FP8 進行大模型訓練的優勢 FP8 是一種 8 位浮點數表示法，FP8 的詳細介紹可以參考此鏈接： https://docs.nvidia.com/deeplearning/transformer-engine/user-guide/examples/fp8_primer.html#Introduction-to-FP8 其中，使用 FP8 進行大模型訓練具有以下優勢： 當然，FP8 對比 FP16 或者 FP32 在數值表示范圍上引入了新的挑戰，從上面的表格中可以看到，FP8 數據類型所能表示的數值范圍較小，精度較低。因此需要針對 FP8 引入更細粒度的算法改進，
Source
]]>
12265
人人超碰97caoporen国产