Success Stories – NVIDIA 技術博客

聯想 GPU 集群助力江西師范大學數字產業學院打造教學數據中心平臺

Wed, 26 Jan 2022 06:49:59 +0000

案例簡介 • 江西師范大學數字產業學院，利用搭載了NVIDIA V100和 T4 Tensor Core GPU的聯想ThinkSystem SR650和SR670服務器高性能計算集群，幫助學生和教師開展深度學習突破性研究。 • 本案例主要應用到NVIDIA Tesla V100 , NVIDIA T4 Tensor Core GPU ,NVIDIA RIVA平臺、NVIDIA NEMO模型訓練平臺。客戶簡介及應用背景江西師范大學數字產業學院是江西省的第一所數字產業學院，學院于2021年成立，專注于計算機科學與技術、人工智能、大數據、物聯網及動畫等領域的教學和研究。作為新成立的機構，江西師范大學數字產業學院計劃從零開始構建一套行業頂尖的數字化基礎架構，而這需要從設計并建立全新的數據中心開始。

Source

]]>

美團機器學習平臺使用 GPU 助力美團 CTR 預測服務升級

Wed, 26 Jan 2022 06:46:56 +0000

案例簡介本案例中美團機器學習平臺使用 NVIDIA GPU 支持其多方面優化策略，從而提高吞吐能力及降低響應延遲。通過算子融合、計算圖等價替換等一系列優化，相較于 CPU 在相同成本約束下，NVIDIA T4 GPU 大幅加速美團 CTR（Click-Through-Rate）模型預測性能，神經網絡模型吞吐能力提升了 10 倍；同時在搜索精排場景中，端到端整體吞吐能力提升了一倍以上，助力美團 CTR 向新一代服務升級。 • 本案例為 NVIDIA GPU 推理加速互聯網行業 CTR 模型的典型應用 • 本案例主要應用到 T4 GPU 和 NVIDIA 各 SDK 以及 CUDA 加速手段客戶簡介及應用背景美團是一家集生活服務及商品零售的電商平臺，公司聚焦“零售+科技”戰略，以“吃”為核心，通過科技創新，服務于生活服務業需求側和供給側數字化升級。

Source

]]>

TensorRT 和 Triton 助力微信加速視覺應用，提高可靠性

Wed, 26 Jan 2022 06:42:45 +0000

簡介 • 本案例中通過NVIDIA T4 GPU，TensorRT和Triton，幫助微信OCR降低整體耗時46%，并將系統的失敗率降低81%，同時降低了高達78%的服務器數量。 • 本案例主要應用到 NVIDIA GPU ，TensorRT和Triton。客戶簡介騰訊微信是一款跨平臺的通訊工具。支持通過手機網絡發送語音、圖片、視頻和文字等。截至2021年6月，微信在全球擁有超過12億活躍用戶，是國內活躍用戶最多的社交軟件。微信識物是一款主打物品識別的 AI 產品，通過相機拍攝物品，更高效、更智能地獲取信息。2020 年，微信識物拓展了更多識別場景，上線了微信版的圖片搜索。打開微信掃一掃，左滑切換到“識物”功能，對準想要了解的物品正面，可以獲取對應的物品信息，包括物品百科、相關資訊、相關商品。 2021年1月，微信發布的微信8.0，版本更新支持圖片文字提取的功能。

Source

]]>

NVIDIA 助力騰訊 PCG 加速無量推薦系統

Wed, 26 Jan 2022 06:34:36 +0000

案例簡介 • 本案例中通過使用 NVIDIA GPU 加速平臺，騰訊平臺與內容事業群(PCG)深度學習平臺實現了”無量推薦系統”模型訓練到在線推理的全流程GPU加速，整體效能性價比提升1~3倍。 • 本案例主要應用到 NVIDIA A100 Tensor Core GPU以及相關軟件的加速平臺。客戶簡介及應用背景無量推薦系統承載著騰訊平臺與內容事業群的推薦場景, 包括: 騰訊看點（瀏覽器，QQ看點，商業化），騰訊新聞，騰訊視頻, 騰訊音樂，閱文，應用寶，小鵝拼拼等。無量推薦系統支持日活躍用戶達數億級別，其中的模型數量達數千個，日均調用服務達到千億級別。無量推薦系統在模型訓練和推理都能夠進行海量Embedding和DNN模型的GPU計算, 是目前業界領先的體系結構設計。客戶挑戰傳統推薦系統具有以下特點: 訓練是基于參數服務器的框架，

Source

]]>

NVIDIA TensorRT助力騰訊加速“開悟”AI開放研究平臺

Thu, 18 Nov 2021 06:00:20 +0000

本案例中通過NVIDIA V100 GPU和TensorRT，騰訊“開悟”AI開放研究平臺將強化學習模型訓練中的自對弈推理部分，從CPU遷移到GPU上，實現了10倍的加速，并使推理成本下降90%，整體訓練成本下降 67%。 • 本案例主要應用到 NVIDIA V100 GPU 和 TensorRT。騰訊一直積極地推動強化學習在游戲AI領域的發展，并在2019年推出了“開悟”AI開放研究平臺，提供不同游戲的訓練場景、支撐AI進行強化訓練的大規模算力、統一的強化學習框架以加速研發速度、通用的訓練與推理服務，加快AI訓練速度。和圖像以及語音的訓練方式不同，目前在游戲AI訓練上表現最好的方式是強化學習。強化學習除了需要大量的算力來訓練深度學習網絡之外，還需要一個自對弈的模塊用來產生訓練數據。在自對弈模塊當中，會模擬游戲環境，

Source

]]>

NVIDIA TensorRT和GPU軟件棧助力騰訊AI LAB打造生動的虛擬人

Thu, 18 Nov 2021 05:58:31 +0000

本案例中通過使用NVIDIA T4 GPU和TensorRT，OpenGL，CUDA, CUDA/OpenGL interoperability等GPU軟件技術棧，助力騰訊AI LAB虛擬人項目在人臉生成階段達到了超過3倍的加速。 • 本案例主要應用到 NVIDIA T4 GPU，TensorRT, OpenGL，CUDA, CUDA/OpenGL interoperability等AI加速平臺。騰訊AI LAB致力于打造產學研用一體的 AI 生態，主要的研究方向包括計算機視覺、語音識別、自然語言處理和機器學習，結合騰訊場景與業務優勢，在社交AI，游戲AI，內容AI及平臺AI等領域取得了顯著的成果，技術被應用于微信、QQ、天天快報和QQ音樂等上百個騰訊產品。其中圍棋AI “絕藝” 多次獲得世界人工智能圍棋大賽的冠軍。

Source

]]>

NVIDIA TensorRT助力騰訊加速微信搜索

Thu, 18 Nov 2021 05:56:38 +0000

騰訊公司利用NVIDIA TensorRT推理引擎的INT8推理能力和基于知識蒸餾的QAT訓練，大大加速了微信中的搜索動能，節省了約70%的計算資源。本案例主要應用到NVIDIA T4 GPU和TensorRT。隨著騰訊微信的發展，微信搜索也成為其越來越重要的功能，這個功能可以用來搜索微信內部的賬號、信息，以及搜索互聯網上的內容。微信搜索月活躍用戶數量達到五億以上。搜索業務當中使用了大量的神經網絡模型，包括自然語言理解、匹配排序等等，這些模型的訓練和推理都大量依賴于NVIDIA GPU，尤其在推理方面，NVIDIA GPU及相應的解決方案都滿足了業務所需的延遲和吞吐要求。微信搜索業務由多個子模塊構成，包括查詢理解、匹配、搜索排序等等。由于搜索的業務特點，這些任務對線上服務的延遲和吞吐都十分敏感。然而在最近幾年，隨著算力的提升以及算法的創新，

Source

]]>

平安科技基于NVIDIA RIVA、NEMO平臺打造高精度智能語音客服系統

Thu, 18 Nov 2021 05:54:38 +0000

本案例通過NVIDIA RIVA平臺，平安科技智能服銷應用組自主研發了智能客服系統，集成了語音識別、語音合成、語義理解三大智能引擎，以智能語音機器人替代傳統的真人客服，實現自然的語音人機交互。 • 本案例主要應用到NVIDIA RIVA平臺、NVIDIA NEMO模型訓練平臺。平安科技是平安集團旗下的全資子公司，運用人工智能、智能認知、云計算、區塊鏈等技術，實現對平安集團旗下的產險、壽險、銀行、醫療、智慧城市等金融業務的賦能，是全球領先的高科技金融技術公司。智能客服系統是平安科技自主研發的基于AI人工智能技術的算法平臺，為保險銀行等金融業務提供了業界領先的智能問答技術服務。智能客服系統每天會產生海量的語音數據，平安科技通過NVIDIA NEMO + RIVA平臺實現了對非結構化的語音數據的結構化高效處理，并應用于語音算法模型的自動化訓練。

Source

]]>

NVIDIA TensorRT 加速夸克瀏覽器AI應用，對模型性能提升起到關鍵作用

Thu, 18 Nov 2021 05:52:30 +0000

本案例中通過TensorRT加速夸克瀏覽器視頻圖像相關模型的預測性能，比如待上線業務的相關流程整體性能達不到線上要求，通過對全流程的優化以及使用NVIDIA TensorRT加速模型后，最終整體性能由10s級別降到400ms內，其中模型性能加速1～3倍，顯存占用下降50%。 • 本案例主要應用到NVIDIA TensorRT、NVIDIA Nsight Systems 夸克瀏覽器是阿里旗下的一個搭載極速AI引擎的高速智能瀏覽器。夸客以極速智能搜索為定位，致力于為用戶提供交互更智能高效、內容更專業權威的新一代搜索引擎，同時也在產品極致體驗上不斷實現突破。夸克目前不僅提供極致的搜索體驗，也在探索以深度學習為基礎的AI工具，通過高效的算法效果和全流程的性能優化，提供更好的用戶體驗。深度學習模型在實際應用的過程中，效果遠好于傳統模型，

Source

]]>

NVIDIA GPU加速AI智能數據處理，助力數字化醫、藥、險聯動

Thu, 18 Nov 2021 05:47:50 +0000

案例簡介客戶簡介及應用背景成都知識視覺是一家專注于數字化醫藥險聯動的互聯網醫療企業，結合OCR、NLP和圖神經網絡多種前沿人工智能技術打造了行業領先，包含醫療單證圖像文本化、結構化、標準化和知識化子系統、完整的院外醫療大數據解決方案，助力醫療和保險領域的客戶實現高效的數字化轉型，賦能數字化醫、藥、險聯動。客戶挑戰 AI 技術使用門檻高，傳統藥企、保險、醫療等團隊缺乏輔助開發工具、不熟悉相關算法，同時在底層框架及硬件驅動上也有重重困難。同樣，在醫療保險行業搭建 AI 平臺主要有以下幾大挑戰：一是數據。在醫療、保險行業存在著海量非結構化圖像數據，其多源異構的醫療數據涉及40多類的單據圖像，保險公司很難將其所包含醫療信息進行有價值的提取和利用。同時，各醫療機構的單證模板制式不統一，醫學術語使用不統一等問題。

Source

]]>