李昆倫（Kunlun Lee） – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 23 Jun 2022 04:10:31 +0000
zh-CN
hourly
1
196178272 -
Merlin HugeCTR Sparse Operation Kit 系列之二
http://www.open-lab.net/zh-cn/blog/merlin-hugectr-sparse-operation-kit-series-2/
Thu, 23 Jun 2022 04:10:30 +0000
http://www.open-lab.net/zh-cn/blog/?p=4373
Continued]]>
摘要 在上期文章中，我們對 HugeCTR Sparse Operation Kit (以下簡稱SOK) 的基本功能，性能，以及 API 用法做了初步的介紹，相信大家對如何使用 SOK 已經有了基本的了解。在這期文章中，我們將從在 TensorFlow 上使用 SOK 時常見的“數據并行-模型并行-數據并行”流程入手，帶大家詳細了解 SOK 的原理。 1. Input Dispatcher Input Dispatcher 的職責是將數據以并行的形式的輸入，分配到各個 GPU 上。總共分為以下幾個步驟： 總而言之，經過上面 4 個步驟，我們將數據并行地輸入，按照其求余 GPU 數量的結果，分配到了不同對應的 GPU 上，
Source
]]>
4373
人人超碰97caoporen国产