李運 – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Tue, 18 Jul 2023 07:32:52 +0000
zh-CN
hourly
1
196178272 -
NVIDIA Ampere 架構的結構化稀疏功能及其在搜索引擎中的應用
http://www.open-lab.net/zh-cn/blog/structured-sparsity-in-the-nvidia-ampere-architecture-and-applications-in-search-engines/
Mon, 03 Jul 2023 03:38:32 +0000
http://www.open-lab.net/zh-cn/blog/?p=7327
Continued]]>
深度學習徹底改變了我們分析、理解和處理數據的方式，而且在各個領域的應用中都取得了巨大的成功，其在計算機視覺、自然語言處理、醫療診斷和醫療保健、自動駕駛汽車、推薦系統以及氣候和天氣建模方面有許多成功案例。 在神經網絡模型不斷變大的時代，對計算速度的高需求對硬件和軟件都形成了巨大的挑戰。模型剪枝和低精度推理是非常有效的解決方案。 自 NVIDIA Ampere 架構開始， 隨著 A100 Tensor Core GPU 的推出，NVIDIA GPU 提供了可用于加速推理的細粒度結構化稀疏功能。在本文中，我們將介紹此類稀疏模型的訓練方法以保持模型精度，包括基本訓練方法、漸進式訓練方法以及與 int8 量化的結合。我們還將介紹如何利用 Ampere 架構的結構化稀疏功能進行推理。 騰訊機器學習平臺部門 (MLPD) 利用了漸進式訓練方法，
Source
]]>
7327
人人超碰97caoporen国产