Fan Yu – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Wed, 07 Sep 2022 04:22:21 +0000
zh-CN
hourly
1
196178272 -
使用 Merlin 分層參數服務器擴展推薦系統推理
http://www.open-lab.net/zh-cn/blog/scaling-recommendation-system-inference-with-merlin-hierarchical-parameter-server/
Wed, 31 Aug 2022 03:08:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5056
Continued]]>
如今，推薦系統被廣泛用于個性化用戶體驗，并在電子商務、社交媒體和新聞源等各種環境中提高客戶參與度。因此，以低延遲和高精度服務用戶請求對于維持用戶參與至關重要。 這包括在使用最新更新無縫刷新模型的同時執行高速查找和計算，這對于模型大小超過 GPU 內存的大規模推薦者來說尤其具有挑戰性。 NVIDIA Merlin HugeCTR ，一個開源框架，旨在優化 NVIDIA GPU 上的大規模推薦，最近發布 分層參數服務器（ HPS ）體系結構 以專門解決工業級推理系統的需求。實驗表明，該方法能夠在流行的基準數據集上以低延遲進行可拓展部署。 大型嵌入表 ：典型深度推薦模型的輸入可以是數字（例如用戶年齡或商品價格）或分類特征（例如用戶 ID 或商品 ID ）。與數字特征不同，分類特征需要轉換為數字向量，以輸入多層感知器（ MLP ）層進行密集計算。
Source
]]>
5056
人人超碰97caoporen国产