Performance Optimization – NVIDIA 技術博客

適用于基于 NVIDIA 的 PC 的端到端人工智能： NVIDIA TensorRT 部署

Wed, 15 Mar 2023 03:25:20 +0000

這篇文章是關于優化端到人工智能的系列文章中的第五篇。 NVIDIA TensorRT 是一種在 NVIDIA 硬件上部署光速推理的解決方案。有了人工智能模型架構， TensorRT 可以在部署前使用，以過度搜索最有效的執行策略。 TensorRT 優化包括重新排序圖中的操作，優化權重的內存布局，以及將操作融合到單個內核以減少 VRAM 的內存流量。要應用這些優化， TensorRT 必須具有完整的網絡定義及其權重。評估的策略在 TensorRT 引擎中序列化，該引擎與應用程序一起提供，以在生產中實現最佳推理性能。在部署過程中，除了這個引擎之外，不需要其他任何東西來執行網絡。包含已編譯的內核和對文件的序列化使該引擎僅與相同計算能力的 GPU 兼容。該文件也特定于 TensorRT 版本，但將與 8.6 之后的未來版本兼容。

Source

]]>

加速數據分析：使用 RAPID cuDF 進行更快的時間序列分析

Tue, 14 Mar 2023 04:23:46 +0000

這篇文章是加速數據分析系列文章的一部分: 由于標準探索性數據分析（ EDA ）工作流程通常局限于單個核心，因此它得益于 RAPIDS cuDF 的加速計算，這是一個具有 pandas 類接口的加速數據分析庫。眾所周知，時間序列數據需要額外的數據處理，這會增加工作流程的時間和復雜性，使其成為利用 RAPIDS 的另一個很好的用例。使用 RAPIDS cuDF ，您可以加快對不太大也不太小的“金發姑娘”數據集的時間序列處理。這些數據集在 pandas 上很繁重，但不需要像 Apache Spark 或 Dask 這樣的完全分布式計算工具。本節介紹了依賴時間序列數據的機器學習（ ML ）用例，以及何時考慮加速數據處理。時間序列數據無處不在。時間戳在許多類型的數據源中都是一個變量，從天氣測量和資產定價到產品購買信息等等。時間戳具有所有級別的粒度，

Source

]]>

加速數據分析：使用 RAPID cuDF 加速數據探索

Tue, 14 Mar 2023 03:57:01 +0000

這篇文章是加速數據分析系列文章的一部分: 氣候建模、醫療保健、金融和零售業的數字進步正在產生前所未有的數據量和類型。 IDC 表示，到 2025 年，將有 180 ZB 的數據，而 2020 年為 64 ZB ，這將擴大對數據分析的需求，將所有數據轉化為見解。 NVIDIA 提供 RAPIDS 開源軟件庫和 API 套件，使數據科學家能夠完全在 GPU 上執行端到端的數據科學和分析管道。這包括使用我們的 DataFrame API : RAPIDS cuDF 進行分析和數據科學的常見數據準備任務。在典型的數據分析工作流程中，速度高達 40 倍，加速的數據分析為您節省了時間，并增加了可能受到當前分析工具限制的迭代機會。為了解釋加速數據分析的價值，我們在本文中使用 RAPIDS cuDF 進行了一個簡單的探索性數據分析（ EDA ）教程。

Source

]]>