利用異構內存管理簡化 GPU 應用程序開發

Tue, 22 Aug 2023 05:06:42 +0000

異構內存管理（HMM）是一種 CUDA 內存管理功能，它擴展了 CUDA 統一內存的編程模型，包括系統分配內存在具有 PCIe 連接的 NVIDIA GPU 的系統上。系統分配內存是指最終由操作系統分配的內存；例如，通過 malloc，mmap，C++ 新操作員（當然使用前面的機制），或為應用程序設置 CPU 可訪問內存的相關系統例程。以前，在基于 PCIe 的機器上， GPU 無法直接訪問系統分配的內存。 GPU 只能訪問來自特殊分配器的內存，例如庫達馬洛克或cudaMallocManaged。啟用 HMM 后，所有應用程序線程（ GPU 或 CPU ）都可以直接訪問應用程序系統分配的所有內存。與統一內存（可以被認為是 HMM 的子集或前身）一樣，不需要在處理器之間手動復制系統分配的內存。這是因為它會根據處理器的使用情況自動放置在 CPU 或 GPU 上。

Source

]]>

在 GPU 上使用大規模并行哈希圖實現性能最大化

Mon, 06 Mar 2023 04:32:14 +0000

數十年的計算機科學史致力于設計有效存儲和檢索信息的解決方案。哈希圖（或哈希表）是一種流行的信息存儲數據結構，因為它對元素的插入和檢索具有攤銷、恒定的時間保證。然而，盡管哈希圖很流行，但很少在 GPU 加速計算的上下文中討論哈希圖。雖然 GPU 以其大量線程和計算能力而聞名，但其極高的內存帶寬使許多數據結構（如哈希圖）得以加速。這篇文章介紹了哈希圖的基本原理，以及它們的內存訪問模式如何使其非常適合 GPU 加速。我們將介紹 cuCollections ，這是一個用于并發數據結構（包括哈希圖）的新的開源 CUDA C ++庫。最后，如果您對在應用程序中使用 GPU 加速哈希映射感興趣，我們將提供多列關系連接算法的示例實現。 RAPIDS cuDF 集成了 GPU 哈希圖，這有助于實現數據科學工作負載的驚人加速。要了解更多信息，請參閱 GitHub 上的 rapidsai/

Source

]]>

Nikolay Sakharnykh – NVIDIA 技術博客

利用異構內存管理簡化 GPU 應用程序開發

在 GPU 上使用大規模并行哈希圖實現性能最大化