case-study – NVIDIA 技術博客

NVIDIA T4 GPU 加速 VIVO 推薦系統部署：支撐億級用戶智能化服務

Thu, 19 May 2022 09:18:57 +0000

Figure 1. AI中臺系統架構圖（圖片來源于VIVO研究院授權） Figure 2. 推薦中臺系統架構圖（圖片來源于VIVO研究院授權） VIVO是一家以設計驅動創造偉大產品，打造以智能終端和智慧服務為核心的科技公司，也是一家全球性的移動互聯網智能終端公司。致力于為消費者打造擁有極致拍照、暢快游戲、Hi-Fi音樂的智能手機產品。根據《2020胡潤中國10強消費電子企業》報告顯示，VIVO以1750億人民幣排名第3位。在工程實踐中，VIVO推薦系統面臨的第一個問題是如何平滑的把多種推薦業務邏輯從CPU平臺向GPU平臺遷移。鑒于當前已經存在多個推薦業務場景，包括應用商店，手機瀏覽器，負一屏信息流等。每個場景都有自己的算法模型和業務流程，如何把多種分散的智能服務整合到一個統一的推薦中臺，

Source

]]>

NVIDIA Triton 助力騰訊PCG加速在線推理, 提高設備效能

Thu, 19 May 2022 09:14:03 +0000

騰訊平臺與內容事業群（簡稱騰訊PCG）負責公司互聯網平臺和內容文化生態融合發展，整合QQ、QQ空間等社交平臺，和應用寶、瀏覽器等流量平臺，以及新聞資訊、視頻、體育、直播、動漫、影業等內容業務，推動IP跨平臺、多形態發展，為更多用戶創造海量的優質數字內容體驗。騰訊PCG機器學習平臺部旨在構建和持續優化符合PCG技術中臺戰略的機器學習平臺和系統，提升PCG機器學習技術應用效率和價值。建設業務領先的模型訓練系統和算法框架；提供涵蓋數據標注、模型訓練、評測、上線的全流程平臺服務，實現高效率迭代；在內容理解和處理領域，輸出業界領先的元能力和智能策略庫。機器學習平臺部正服務于PCG所有業務產品。應用方案基于以上挑戰，騰訊PCG選擇了采用NVIDIA 的Triton推理服務器，以解決新場景下模型推理引擎面臨的挑戰，在提升用戶研效的同時，

Source

]]>

騰訊廣告視頻抽幀的全流程 GPU 加速

Thu, 19 May 2022 09:10:07 +0000

騰訊廣告的開發人員改進了視頻抽幀的實現方式，使得全流程的操作均在 GPU 上完成，取代了原有的 CPU 抽幀流程，提高了性能，并降低了成本。視頻已成為內容和廣告的主要媒介形式，但目前的視頻內容理解或審核等 AI 能力，主流依然是先抽幀，再基于圖像幀做特征提取和預測。騰訊廣告部門日常處理大量的視頻信息，而抽幀是視頻分析的第一步。抽幀由于步驟多、計算重，在視頻 AI 推理場景很容易成為性能瓶頸。在騰訊廣告的流量中，視頻所占比例逐年快速提升，視頻抽幀這里如果出現時耗或吞吐瓶頸（特別是針對高 FPS 抽幀的情況），很容易影響到后續的特征提取以及模型預測性能。在當前的廣告視頻 AI 推理服務中，抽幀往往占據了其中大部分時耗，因此，視頻抽幀的性能對于視頻內容理解服務的時耗和整體資源開銷，有著舉足輕重的地位。視頻抽幀的幾個步驟，

Source

]]>

NVIDIA A100 加速醫學圖像處理深度學習研究

Thu, 19 May 2022 08:51:18 +0000

本案例中通過 NVIDIA A100 GPU 加速器，上海市磁共振重點實驗室構建了高效的深度學習科研硬件平臺，建立高效且穩定的針對醫學圖像處理的深度學習平臺。 • 本案例中 NVIDIA 精英級合作伙伴信弘智能助力上海市磁共振重點實驗室部署了高效的科研硬件平臺。上海市磁共振重點實驗室（Shanghai Key Laboratory of Magnetic Resonance）是從屬于華東師范大學的省部級重點實驗室, 是國內核磁共振研究和人才培養的主要基地之一。多年來，堅持自己在磁振物理學上的專業特色，逐漸形成了應用研究與技術研發并重，磁共振波譜與磁共振成像兼顧的局面，并先后建立了“上海市磁共振成像技術平臺”和“上海市核磁共振波譜技術服務平臺”兩個開放平臺，進一步強化了實驗室的開放服務功能。

Source

]]>

NVIDIA TensorRT 加速GALA Sports Arena4D 打造實時數字化運動場景

Thu, 19 May 2022 08:47:37 +0000

（圖片來源于望塵科技授權）望塵科技（GALA Sports）于 2013 年在深圳成立，是一家以技術為驅動的互聯網公司，多年來一直專注于體育游戲和賽場數字化，致力于為用戶提供高品質的體育在線娛樂體驗，目前團隊成員 300 余人，分別于深圳、成都設有辦公地點。憑借歷年來在體育游戲市場的深耕與穩定的高質量產品研發，望塵科技推出了《足球大師》、《NBA 籃球大師》、《最佳 11 人》等多款體育類手游，與 FIFPro、NBA、中超、拜仁、巴薩、曼聯、皇馬、國米等體育聯盟及豪門俱樂部保持著長期的合作關系。目前，擁有全球超過 2000 萬的下載用戶，全球日活躍用戶量超 50 萬人次；在賽場三維重構、人體運動模擬、球類競技 AI、表情與肌肉物理模擬、超寫實數字人、大場景渲染等幾個領域處于國內外領先地位。

Source

]]>

NVIDIA DGX A100 助力百圖生科構建獨特的生物計算引擎

Thu, 19 May 2022 08:42:39 +0000

本案例中通過 NVIDIA DGX A100 80GB 和 NVIDIA 網絡交換機，百圖生科構建了獨特的生物計算引擎，建立高質量、高效率的靶點篩查和藥物設計，從而構建藥物研發平臺。從海量生物數據與信息中抽取知識，繪制 “BioMap” ，將創新藥物研發的 “大海撈針” 變為 “按圖索驥” 。 • 本案例主要應用到 DGX A100 80GB； NVIDIA 網絡交換機。 • 本案例中， NVIDIA 精英級合作伙伴信弘智能助力百圖生科部署了高效的 AI 計算平臺。百圖生科（BioMap）是一家生物計算驅動的生命科學平臺公司，致力于將先進 AI 技術與前沿生物技術相結合，構建獨特的靶點挖掘及藥物設計能力，開發創新的藥物和診斷產品。利用生物計算引擎，加速對復雜疾病機理的發現進程，從而提升生命科學研發的效率。

Source

]]>

基于 NVIDIA GPU 加速平臺，愛瑞無線實現5G 端到端用戶接入和實時業務

Thu, 19 May 2022 08:38:44 +0000

通過 NVIDIA GPU 加速平臺，愛瑞無線構建了基于 NVIDIA Aerial SDK 的 5G O-RAN 端到端系統，實現了基于 NVIDIA GPU 加速平臺 5G 端到端用戶接入和實時業務。 • 本案例主要應用到 NVIDIA A100 GPU 和 NVIDIA Aerial SDK。愛瑞無線（ArrayComm）是具有大規模商用 5G 系統研發和部署經驗的 AI-on-5G 解決方案提供商，致力于為行業用戶提供 URLLC、定位、AI、云與虛擬化等關鍵技術與設備。作為 AI-on-5G 解決方案提供商，愛瑞無線基于 NVIDIA A100 GPU、NVIDIA Aerial SDK 以及愛瑞無線的前傳網關、射頻單元和協議棧，打造了一個全新的面向行業應用的 5G+AI 邊緣計算企業套件，

Source

]]>

NVIDIA 助力百度智能云落地新一代高性能 AI 計算集群

Thu, 19 May 2022 07:46:55 +0000

百度智能云是中國 AI 公有云服務市場的領先企業。近日，百度智能云落地新一代高性能AI計算集群，提供EFLOPS級算力支持，并發布了新一代GPU服務器實例GPU-H5-8NA100-IB01。該集群基于NVIDIA A100-80GB GPU和NVIDIA InfiniBand網絡構建，成為領先的AI原生云算力底座。研究人員可基于全新發布的實例組建上千節點規模的超高性能計算集群，成倍縮短超大AI模型的訓練時間，激發AI業務創新想象力。隨著 AI 的發展，創新業務層出不窮，業務復雜性不斷提升，大模型、超大模型成為必然趨勢，對于快速訓練與部署應用提出了前所未有的緊迫要求。百度智能云早在 2020 年就預見到這一發展態勢，啟動規劃與方案設計，并參考 NVIDIA 高性能分布式集群參考架構，設計落地新一代高性能 AI 集群，通過基礎架構的升級，釋放技術使能想象力，

Source

]]>

聯想 GPU 集群助力江西師范大學數字產業學院打造教學數據中心平臺

Wed, 26 Jan 2022 06:49:59 +0000

案例簡介 • 江西師范大學數字產業學院，利用搭載了NVIDIA V100和 T4 Tensor Core GPU的聯想ThinkSystem SR650和SR670服務器高性能計算集群，幫助學生和教師開展深度學習突破性研究。 • 本案例主要應用到NVIDIA Tesla V100 , NVIDIA T4 Tensor Core GPU ,NVIDIA RIVA平臺、NVIDIA NEMO模型訓練平臺。客戶簡介及應用背景江西師范大學數字產業學院是江西省的第一所數字產業學院，學院于2021年成立，專注于計算機科學與技術、人工智能、大數據、物聯網及動畫等領域的教學和研究。作為新成立的機構，江西師范大學數字產業學院計劃從零開始構建一套行業頂尖的數字化基礎架構，而這需要從設計并建立全新的數據中心開始。

Source

]]>

美團機器學習平臺使用 GPU 助力美團 CTR 預測服務升級

Wed, 26 Jan 2022 06:46:56 +0000

案例簡介本案例中美團機器學習平臺使用 NVIDIA GPU 支持其多方面優化策略，從而提高吞吐能力及降低響應延遲。通過算子融合、計算圖等價替換等一系列優化，相較于 CPU 在相同成本約束下，NVIDIA T4 GPU 大幅加速美團 CTR（Click-Through-Rate）模型預測性能，神經網絡模型吞吐能力提升了 10 倍；同時在搜索精排場景中，端到端整體吞吐能力提升了一倍以上，助力美團 CTR 向新一代服務升級。 • 本案例為 NVIDIA GPU 推理加速互聯網行業 CTR 模型的典型應用 • 本案例主要應用到 T4 GPU 和 NVIDIA 各 SDK 以及 CUDA 加速手段客戶簡介及應用背景美團是一家集生活服務及商品零售的電商平臺，公司聚焦“零售+科技”戰略，以“吃”為核心，通過科技創新，服務于生活服務業需求側和供給側數字化升級。

Source

]]>

TensorRT 和 Triton 助力微信加速視覺應用，提高可靠性

Wed, 26 Jan 2022 06:42:45 +0000

簡介 • 本案例中通過NVIDIA T4 GPU，TensorRT和Triton，幫助微信OCR降低整體耗時46%，并將系統的失敗率降低81%，同時降低了高達78%的服務器數量。 • 本案例主要應用到 NVIDIA GPU ，TensorRT和Triton。客戶簡介騰訊微信是一款跨平臺的通訊工具。支持通過手機網絡發送語音、圖片、視頻和文字等。截至2021年6月，微信在全球擁有超過12億活躍用戶，是國內活躍用戶最多的社交軟件。微信識物是一款主打物品識別的 AI 產品，通過相機拍攝物品，更高效、更智能地獲取信息。2020 年，微信識物拓展了更多識別場景，上線了微信版的圖片搜索。打開微信掃一掃，左滑切換到“識物”功能，對準想要了解的物品正面，可以獲取對應的物品信息，包括物品百科、相關資訊、相關商品。 2021年1月，微信發布的微信8.0，版本更新支持圖片文字提取的功能。

Source

]]>

TensorRT 加速AI 推理效率，助力極視角科技打造極星 AI 推理平臺

Wed, 26 Jan 2022 06:37:53 +0000

案例簡介 • 本案例中通過 NVIDIA TensorRT 以及 NVIDIA T4 GPU, 極視角科技研發的人工智能計算機視覺算法推理平臺“極星，進一步提升了計算機視覺算法的準確度和推理效率，滿足了對算法實時性要求較高的行業需求，讓算法模型推理效率提升了20-40倍。 • 本案例主要應用到 NVIDIA TensorRT 以及 NVIDIA T4 GPU。應用背景極視角科技（ EXTREME VISION）是專業的人工智能計算機視覺算法提供商，開創了全球首家視覺算法商城，已上架 1000 余種算法，覆蓋 100 多個行業領域的應用場景，匯聚超過 200,000 位開發者。 “極星”是基于極視角強大技術能力打造的AI應用開發及服務平臺，。平臺支持快速接入各類算法、數據及智能設備，實現AI自閉環能力，并通過應用服務和標準化接口，

Source

]]>

NVIDIA 助力騰訊 PCG 加速無量推薦系統

Wed, 26 Jan 2022 06:34:36 +0000

案例簡介 • 本案例中通過使用 NVIDIA GPU 加速平臺，騰訊平臺與內容事業群(PCG)深度學習平臺實現了”無量推薦系統”模型訓練到在線推理的全流程GPU加速，整體效能性價比提升1~3倍。 • 本案例主要應用到 NVIDIA A100 Tensor Core GPU以及相關軟件的加速平臺。客戶簡介及應用背景無量推薦系統承載著騰訊平臺與內容事業群的推薦場景, 包括: 騰訊看點（瀏覽器，QQ看點，商業化），騰訊新聞，騰訊視頻, 騰訊音樂，閱文，應用寶，小鵝拼拼等。無量推薦系統支持日活躍用戶達數億級別，其中的模型數量達數千個，日均調用服務達到千億級別。無量推薦系統在模型訓練和推理都能夠進行海量Embedding和DNN模型的GPU計算, 是目前業界領先的體系結構設計。客戶挑戰傳統推薦系統具有以下特點: 訓練是基于參數服務器的框架，

Source

]]>

NVIDIA GPU 加速“ AI +分子模擬”，助力深勢科技打造微尺度工業設計平臺

Wed, 26 Jan 2022 06:30:49 +0000

案例簡介 • 本案例中通過 NVIDIA A100 Tensor Core GPU，深勢科技開創的“多尺度建模+機器學習+高性能計算”新范式得以進行高效、廣泛的應用實踐，運用AI表示高維復雜函數和處理大數據的能力，在相鄰尺度間兩兩連接，通過多尺度建模攻克傳統分子模擬瓶.. • 本案例使用了NVIDIA A100 Tensor Core GPU、CUDA 加速藥物研發與材料設計等微尺度工業設計中分子模擬的典型應用。客戶挑戰氨基酸鏈條的不同折疊會構成功能各異的蛋白質，鋰離子的傳輸運動影響著電池的性能與使用壽命，這些在人類的生命、能源與制造領域至關重要的性能，都是由物質在微觀尺度的結構與性質決定的。如同飛機、火箭或建筑的設計制造，微觀尺度的設計同樣需要強大的工業級平臺作為研發與設計的承載。對微觀粒子進行計算模擬和結構設計，使其展現出符合現實需求的性能，

Source

]]>