加速計算庫

2024年 9月 16日
借助 NVIDIA 集合通信庫實現顯存高效、快速初始化和成本估算優化 2.22
在過去幾個月中,NVIDIA 集合通信庫(NCCL)開發者一直在努力開發一系列新的庫功能和錯誤修復。在本文中,我們將討論 NCCL 2.22…
2 MIN READ

2024年 7月 11日
新一代的 FlashAttention
NVIDIA 很高興能與 Colfax、Together.ai、Meta 和普林斯頓大學合作,利用 Hopper GPU 架構和…
1 MIN READ

2024年 4月 19日
測量多流工作負載的 GPU 占用率
隨著新一代產品的推出, NVIDIA GPU 的性能也變得越來越強大。這種提升通常有兩種形式。每個流多處理器 (SM) (GPU 的主力)…
3 MIN READ

2024年 3月 27日
高效的 CUDA 調試:將 NVIDIA Compute Sanitizer 與 NVIDIA 工具擴展程序結合使用并創建自定義工具
NVIDIA Compute Sanitizer 是一款功能強大的工具,可以節省時間和精力,同時提高 CUDA 應用程序的可靠性和性能。
5 MIN READ

2024年 3月 25日
在加速計算時代構建高性能應用
AI 正在通過新的數據處理、模擬和建模方法增強高性能計算 (HPC).由于這些新 AI 工作負載的計算需求,HPC 正在快速擴展。
2 MIN READ

2024年 3月 8日
cuTENSOR 2.0:用于加速張量計算的全面指南
NVIDIA cuTENSOR 是一個 CUDA 數學庫,提供經過優化的張量運算。張量是一種密集的多維數組或數組片段。cuTENSOR 2.
5 MIN READ

2024年 3月 8日
cuTENSOR 2.0:應用程序和性能
雖然 第 1 部分 專注于使用全新的 NVIDIA cuTENSOR 2.0 CUDA 數學庫,但本文將介紹其他使用模式,
4 MIN READ