Deyu Fu – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Tue, 25 Oct 2022 04:18:04 +0000
zh-CN
hourly
1
196178272 -
NVIDIA Merlin Distributed-Embeddings輕松快速訓練TB 級推薦模型
http://www.open-lab.net/zh-cn/blog/fast-terabyte-scale-recommender-training-made-easy-with-nvidia-merlin-distributed-embeddings/
Wed, 31 Aug 2022 03:19:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5061
Continued]]>
Embedding在深度學習推薦模型中起著關鍵作用。它們被用于將輸入數據中的離散特征映射到向量，以便下游的神經網絡進行處理。Embedding 通常構成深度學習推薦模型中的大部分參數，大小可以達到 TB 級。在訓練期間，很難將它們放入單個 GPU 的內存中。因此，現代推薦系統可能需要模型并行和數據并行的分布式訓練方法組合，以最佳利用GPU計算資源來實現最好的訓練性能。 NVIDIA Merlin Distributed-Embeddings ，可以方便TensorFlow 2 用戶用短短幾行代碼輕松完成大規模的推薦模型訓練。 背景 在數據并行分布式訓練中，整個模型被復制到每個 GPU 上。在訓練過程中，一批輸入數據在多個 GPU 中分割，每張卡獨立處理其自己的數據分片，從而允許計算擴展到更大批量的數據。在反向傳播期間，計算的梯度通過reduction算子（例如，
Source
]]>
5061
人人超碰97caoporen国产