Shijie Liu – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 28 Nov 2024 08:32:58 +0000
zh-CN
hourly
1
196178272 -
使用 EMBark 加速大規模推薦系統嵌入式訓練優化
http://www.open-lab.net/zh-cn/blog/boost-large-scale-recommendation-system-training-embedding-using-embark/
Wed, 20 Nov 2024 08:27:41 +0000
http://www.open-lab.net/zh-cn/blog/?p=12179
Continued]]>
推薦系統是互聯網行業的核心，而高效地訓練這些系統對于各大公司來說是一個關鍵問題。大多數推薦系統是深度學習推薦模型（DLRMs），包含數十億甚至數百億個 ID 特征。圖 1 示出了一個典型的結構。 近年來， NVIDIA Merlin HugeCTR 和 TorchRec 等 GPU 解決方案通過在 GPU 上存儲大規模 ID 特征嵌入并對其進行并行處理，顯著加速了 DLRM 的訓練。與 CPU 解決方案相比，使用 GPU 內存帶寬可實現顯著改進。 與此同時，隨著訓練集群中使用的 GPU 數量增加（從 8 個 GPU 增加到 128 個 GPU），我們發現嵌入的通信開銷在總訓練開銷中占較大比例。在一些大規模訓練場景中（例如在 16 個節點上），它甚至超過了一半（51%）。 這主要有兩個原因： 1、隨著集群中 GPU 數量的增加，每個節點上的嵌入表數量逐漸減少，
Source
]]>
12179
人人超碰97caoporen国产