NVIDIA Merlin – NVIDIA 技術博客

利用 NVIDIA Merlin HierarchicalKV 實現唯品會在搜推廣場景中的 GPU 推理實踐

Fri, 19 Apr 2024 13:08:10 +0000

本實踐中，唯品會 AI 平臺與 NVIDIA 團隊合作，結合 NVIDIA TensorRT 和 NVIDIA Merlin HierarchicalKV（HKV）將推理的稠密網絡和熱 Embedding 全置于 GPU 上進行加速，吞吐相比 CPU 推理服務提升高于 3 倍。唯品會（NYSE: VIPS）成立于 2008 年 8 月，總部設在中國廣州，旗下網站于同年 12 月 8 日上線。唯品會主營業務為互聯網在線銷售品牌折扣商品，涵蓋名品服飾鞋包、美妝、母嬰、居家、生活等全品類。唯品會 AI 平臺服務于公司搜索、推薦、廣告等業務團隊，提供公司級一站式服務平臺。搜索、推薦、廣告等業務旨在通過算法模型迭代，不斷優化用戶購買體驗，從而提升點擊率和轉化率等業務指標，最終實現公司銷售業績增長。在使用 GPU 打開推理算力天花板過程中，遇到了如下問題：

Source

]]>

ICYMI: 新的和更新的人工智能工作流在 NVIDIA GTC 2023 上發布

Wed, 22 Mar 2023 06:33:39 +0000

在 NVIDIA GTC 2023 上， NVIDIA 展示了如何利用人工智能工作流來幫助您加速開發人工智能解決方案，以解決一系列用例。 AI workflows 是云原生的打包參考示例，展示了如何使用 NVIDIA 人工智能框架來高效構建人工智能解決方案，如智能虛擬助理、網絡安全數字指紋、產品推薦等。人工智能工作流程可能包括預訓練的模型、訓練和推理管道、 Python 代碼和 Helm 圖表，為開發人員加速實現人工智能成果提供了一個起點。有關 NVIDIA 最新突破的更多信息，請觀看 keynote from CEO Jensen Huang 。 NVIDIA 下一項預測 AI 工作流程旨在幫助公司建立有效的個性化推薦，幾乎不使用用戶數據。工作流包含以下功能：使用下一項預測 AI 工作流程和在 NVIDIA LaunchPad 試用…

Source

]]>

離線到在線： NVIDIA Merlin 實時推薦系統的功能存儲

Wed, 01 Mar 2023 02:40:12 +0000

由于深度學習的進步和矢量嵌入的使用，推薦模型近年來進展迅速。這些模型日益復雜，需要強大的系統來支持它們，在生產中部署和維護這些模型可能具有挑戰性。在論文 Monolith: Real Time Recommendation System With Collisionless Embedding Table 中，字節跳動詳細介紹了他們如何構建一個推薦系統，以支持在線培訓、滾動嵌入更新、容錯等。這篇文章詳細介紹了離線、在線和在線大型推薦系統架構。我們專注于部署，使用構建塊框架 NVIDIA Merlin 和實時數據層 Redis 構建端到端推薦系統的示例。最后，我們提供了云部署說明和管理的 Redis 選項，用于生產就緒和簡化架構。下載 RedisVentures/Redis-Recsys GitHub 存儲庫中的代碼，并查看相關資產以遵循每個示例。

Source

]]>

GTC 推出新語言、增強網絡安全和醫療 AI 框架

Wed, 21 Sep 2022 09:14:00 +0000

在 GTC 2022 年， NVIDIA 對 AI 框架進行了增強，以構建實時語音 AI 應用程序、大規模設計高性能推薦者、將 AI 應用于網絡安全挑戰、創建 AI 驅動的醫療設備等。展示了真實世界中的端到端 AI 框架，突出了客戶和合作伙伴在其行業和領域中的領先地位。當組織將其 AI 框架投入生產時， NVIDIA AI Enterprise 的企業支持可確保這些 AI 應用程序的成功。觀看創始人兼首席執行官黃（黃仁勛）的主題演講，探索 NVIDIA （ NVIDIA ）的最新人工智能技術進步，并學習將人工智能投入生產的新方法。 NVIDIA 宣布對 Riva 進行新的更新，這是一個用于支持 speech AI 框架的加速 SDK 。構建和部署具有世界級自動語音識別（ ASR ）和文本到語音（ TTS ）功能的完全可定制實時 AI 管道：在云端、邊緣、

Source

]]>

NVIDIA Merlin Distributed-Embeddings輕松快速訓練TB 級推薦模型

Wed, 31 Aug 2022 03:19:00 +0000

Embedding在深度學習推薦模型中起著關鍵作用。它們被用于將輸入數據中的離散特征映射到向量，以便下游的神經網絡進行處理。Embedding 通常構成深度學習推薦模型中的大部分參數，大小可以達到 TB 級。在訓練期間，很難將它們放入單個 GPU 的內存中。因此，現代推薦系統可能需要模型并行和數據并行的分布式訓練方法組合，以最佳利用GPU計算資源來實現最好的訓練性能。 NVIDIA Merlin Distributed-Embeddings ，可以方便TensorFlow 2 用戶用短短幾行代碼輕松完成大規模的推薦模型訓練。背景在數據并行分布式訓練中，整個模型被復制到每個 GPU 上。在訓練過程中，一批輸入數據在多個 GPU 中分割，每張卡獨立處理其自己的數據分片，從而允許計算擴展到更大批量的數據。在反向傳播期間，計算的梯度通過reduction算子（例如，

Source

]]>

使用 Merlin 分層參數服務器擴展推薦系統推理

Wed, 31 Aug 2022 03:08:00 +0000

如今，推薦系統被廣泛用于個性化用戶體驗，并在電子商務、社交媒體和新聞源等各種環境中提高客戶參與度。因此，以低延遲和高精度服務用戶請求對于維持用戶參與至關重要。這包括在使用最新更新無縫刷新模型的同時執行高速查找和計算，這對于模型大小超過 GPU 內存的大規模推薦者來說尤其具有挑戰性。 NVIDIA Merlin HugeCTR ，一個開源框架，旨在優化 NVIDIA GPU 上的大規模推薦，最近發布分層參數服務器（ HPS ）體系結構以專門解決工業級推理系統的需求。實驗表明，該方法能夠在流行的基準數據集上以低延遲進行可拓展部署。大型嵌入表：典型深度推薦模型的輸入可以是數字（例如用戶年齡或商品價格）或分類特征（例如用戶 ID 或商品 ID ）。與數字特征不同，分類特征需要轉換為數字向量，以輸入多層感知器（ MLP ）層進行密集計算。

Source

]]>

Transformers4Rec ：使用 NVIDIA Merlin 庫構建基于會話的建議

Tue, 28 Jun 2022 05:32:00 +0000

推薦系統可以幫助您發現新產品并做出明智的決策。然而，在許多依賴于推薦的領域，如電子商務、新聞和流媒體服務，用戶可能無法跟蹤，或者根據當時的需求，用戶的口味可能會迅速變化。基于會話的推薦系統是順序推薦的一個子領域，最近很受歡迎，因為它們可以在任何給定的時間點根據用戶的情況和偏好推薦項目。在這些領域中，捕捉用戶對項目的短期或上下文偏好很有幫助。在本文中，我們將介紹基于會話的推薦任務，該任務由 NVIDIA Merlin 平臺的 Transformers4Rec 庫支持。然后，我們展示了使用 Transformers4Rec 在幾行代碼中創建基于會話的推薦模型是多么容易，最后，我們展示了使用 NVIDIA Merlin 庫的端到端基于會話的推薦管道。 NVIDIA Merlin 團隊于 ACM RecSys’21 發布，

Source

]]>

Merlin HugeCTR Sparse Operation Kit 系列之二

Thu, 23 Jun 2022 04:10:30 +0000

摘要在上期文章中，我們對 HugeCTR Sparse Operation Kit (以下簡稱SOK) 的基本功能，性能，以及 API 用法做了初步的介紹，相信大家對如何使用 SOK 已經有了基本的了解。在這期文章中，我們將從在 TensorFlow 上使用 SOK 時常見的“數據并行-模型并行-數據并行”流程入手，帶大家詳細了解 SOK 的原理。 1. Input Dispatcher Input Dispatcher 的職責是將數據以并行的形式的輸入，分配到各個 GPU 上。總共分為以下幾個步驟：總而言之，經過上面 4 個步驟，我們將數據并行地輸入，按照其求余 GPU 數量的結果，分配到了不同對應的 GPU 上，

Source

]]>

NVIDIA GTC 2022 年大會上宣布了 NVIDIA AI 軟件的主要更新，包括語音推進、推薦、推理等

Tue, 22 Mar 2022 05:56:00 +0000

在 GTC 2022 年，NVIDIA 宣布對其NVIDIA 人工智能軟件套件進行重大更新，以供開發人員構建實時語音人工智能應用程序，大規模創建高性能推薦程序，并在每個應用程序中優化推理，等等。觀看首席執行官 Jensen Huang 的 keynote ，了解 Nvidia 的最新進展。今天，NVIDIA 宣布 Riva 2.0 正式上市。 Riva 是一款加速語音 AI SDK ，為實時應用程序提供模型、工具、完全優化的語音識別和文本到語音管道。亮點包括： NVIDIA 也宣布 Riva 企業，為大規模部署的企業提供訪問 NVIDIA 語音專家的機會。企業可以在 LaunchPad 中的現成基礎設施上使用引導實驗室試用 Riva。將此 GTC 會話添加到您的日歷以了解更多信息：今天，

Source

]]>

GTC 內幕指南：計算機視覺、 NLP 、推薦者和機器人

Wed, 09 Mar 2022 04:46:00 +0000

尋找不同的主題領域？留意我們的其他帖子！ 3 月 21 日至 24 日，加入 GTC ，探索人工智能、計算機視覺、數據科學、機器人等領域的最新技術和研究！有超過 900 個選項可供選擇，我們的 NVIDIA 專家將安排一些不容錯過的課程，幫助您開始：創造未來：創建世界上最大的工業合成對象識別數據集（ SORDI ） Jimmy Nassif ， idealworks 首席技術官馬克·坎拉德，寶馬集團慕尼黑技術辦公室負責人寶馬每 56 秒制造一輛汽車。他們如何提高質量？他們使用機器人，用合成數據補充真實數據。了解寶馬、微軟和NVIDIA 如何通過基于人工智能的計算機視覺識別零件、障礙物和人員，從而加快生產和質量。如何使用 NVIDIA DeepStream 開發和優化 Edge AI 應用程序 Carlos Garcia…

Source

]]>

NVIDIA Merlin 通過最新更新擴展了推薦者工作流的開源互操作性

Mon, 22 Nov 2021 08:01:00 +0000

數據科學家和機器學習工程師使用許多方法、技術和工具來準備、構建、培訓、部署和優化他們的機器學習模型。雖然技術領先引用推薦人團隊工作流程中利用開源軟件的重要性，但大多數流行的機器學習方法、庫和框架的設計都不是為了支持和加速推薦者工作流。 NVIDIA Merlin 旨在簡化推薦人工作流程。最新的更新包括 Transformers4Rec ，這是一個新的庫，它包裝了 HuggingFace transformer 體系結構，以構建基于會話的建議的管道。它還添加了 SparseOperationsKit (SOK) ，一個新的 Python 包，支持稀疏訓練和深度學習推理（ DL ）。這一最新版本重申了 NVIDIA 的 commitment 功能，幫助機器學習工程師和數據科學家使用開源規范構建塊開發和優化推薦系統。

Source

]]>

ICYMI ：在 NVIDIA GTC 主題演講上宣布的新 AI 工具和技術

Tue, 09 Nov 2021 08:20:00 +0000

今年 11 月在 NVIDIA GTC 上，宣布了新的軟件工具，幫助開發人員構建實時語音應用程序，優化各種用例的推理，優化推薦系統的開源互操作性，等等。觀看首席執行官黃延森（ Jensen Huang ）的主題演講，了解 NVIDIA 的最新突破。今天， NVIDIA 推出了具有自定義語音功能的新版NVIDIA Riva。通過 Riva 定制語音，企業可以輕松創建代表其品牌的獨特語音。 NVIDIA 還宣布了 Riva Enterprise ，這是一個付費項目，包括為希望大規模部署 Riva 的企業提供 NVIDIA 專家支持。工作量較小的客戶和合作伙伴可以繼續免費使用 Riva 。 Riva 亮點包括：今天從NGC catalog中嘗試 Riva ，并注冊NVIDIA Riva Enterprise興趣列表。

Source

]]>