?
NVIDIA 發布了最新的 CUDA 工具包軟件版本 11.8 。該版本的重點是通過新的硬件功能增強編程模型和 CUDA 應用程序加速。
NVIDIA Hopper 和 Ada Lovelace 中新的特定于體系結構的功能最初通過庫和框架增強公開。 NVIDIA Hopper 體系結構的完整編程模型增強將從 CUDA Toolkit 12 系列開始發布。
CUDA 11.8 有幾個重要特性。本文概述了關鍵功能。
NVIDIA Hopper 和 NVIDIA -Ada 架構支持
CUDA 應用程序可以立即從新的 GPU 系列中增加的流式多處理器（ SM ）計數、更高的內存帶寬和更高的時鐘頻率中受益。
CUDA 和 CUDA 庫公開了基于 GPU 硬件體系結構增強的新性能優化。
模塊加載延遲
NVIDIA 基于 11.7 中的惰性內核加載特性，在 CPU 模塊端添加了惰性加載。這意味著函數和庫在 CPU 上的加載速度更快，有時內存占用也會大大減少。折衷是在應用程序中首次加載函數時的延遲最小。這總體上低于沒有延遲加載的總延遲。?
所有用于延遲加載的庫都必須使用 11.7 以上版本構建，才能進行延遲加載。
在此版本中，默認情況下， CUDA 堆棧中未啟用延遲加載。要為應用程序評估它，請使用環境變量CUDA_MODULE_LOADING=LAZY集運行。
改進的 MPS 信號處理
現在，您可以使用SIGINT或SIGKILL終止在 MPS 環境中運行的任何應用程序，而不會影響其他正在運行的進程。雖然不是真正的錯誤隔離，但此增強功能支持更細粒度的應用程序控制，特別是在裸機數據中心環境中。?
NVIDIA JetPack 安裝簡化
NVIDIA JetPack 為 Jetson 平臺邊緣的硬件加速 AI 提供了一個完整的開發環境。從 CUDA Toolkit 11.8 開始， NVIDIA JetPack 5.0 和更高版本上的 Jetson 用戶可以升級到最新的[ZCK0 版本，而無需更新 NVIDIA JetPack 版本或 Jetson Linux BSP （板支持包），以與 CUDA 桌面版本保持一致。
有關詳細信息，請參閱 Simplifying CUDA Upgrades for NVIDIA Jetson Developers .
CUDA 開發人員工具更新
計算開發工具與 CUDA 生態系統緊密相連，可幫助您識別和糾正性能問題。
Nsight Compute
在 Nsight Compute 中，您可以公開低級性能指標、調試 API 調用和可視化工作負載，以幫助優化 CUDA 內核。 CUDA 11.8 中引入了新的計算功能，以幫助 NVIDIA Hopper 架構的性能調整活動。
現在，您可以評測和調試 NVIDIA Hopper 線程塊集群，它可以提高性能并增強對 GPU 的控制。集群調優與張量內存加速器（ TMA ）的配置支持一起發布，該加速器是 NVIDIA Hopper 全球和共享內存之間的快速數據傳輸系統。
Nsight Compute for CUDA 11.8 中還包含一個新示例。此示例提供了源代碼和預收集的結果，它們引導您完成整個工作流，以確定并修復未平衡的內存訪問問題。了解更多 CUDA samples ，使自己具備使用工具箱功能和在自己的應用程序中解決類似情況的知識。
Nsight 系統
使用 Nsight Systems 進行分析可以深入了解 GPU 饑餓、不必要的 GPU 同步、 CPU 并行化不足以及 CPU 和 GPU 中昂貴的算法等問題。了解這些行為和深度學習框架的負載，如 PyTorch 和 TensorFlow ，可以幫助您調整模型和參數，以提高整體單個或多個 GPU 的利用率。
其他工具
CUDA 工具包中還包括 GPU 和 GPU 線程調試的 CUDA-GDB 以及功能正確性檢查的 Compute Sanitizer 都支持 NVIDIA Hopper 架構。
總結
此版本的 CUDA 11.8 工具包具有以下功能：
- 第一個支持 NVIDIA Hopper 和 NVIDIA -Ada Lovelace 的版本 GPU
- 延遲模塊加載擴展為支持 CPU 端模塊和設備端內核的延遲加載
- 改進了 MPS 信號處理，可中斷和終止應用程序
- NVIDIA JetPack 安裝簡化
- CUDA 開發人員工具更新
有關詳細信息，請參閱以下資源：
- Optimizing CUDA Machine Learning Codes with Nsight Profiling Tools
- CUDA Toolkit download
- NVIDIA Hopper architecture
- NVIDIA Ada Lovelace Architecture
- CUDA Compatibility
- NVIDIA Releases Open-Source GPU Kernel Modules
- NVIDIA Nsight Compute and NVIDIA Nsight Systems
- NVIDIA Jetson and NVIDIA JetPack SDKs
?
