Posts by Sylvain Jeaugey
數據中心/云端
2025年 1月 31日
NVIDIA 集合通信庫 2.23 促使新的縮放算法和初始化方法的誕生
NVIDIA 集合通信庫 (NCCL) 可實現針對 NVIDIA GPU 和網絡進行優化的多 GPU 和多節點通信基元。
2 MIN READ
數據中心/云端
2024年 9月 16日
借助 NVIDIA 集合通信庫實現顯存高效、快速初始化和成本估算優化 2.22
在過去幾個月中,NVIDIA 集合通信庫(NCCL)開發者一直在努力開發一系列新的庫功能和錯誤修復。在本文中,我們將討論 NCCL 2.22…
2 MIN READ
數據科學
2022年 2月 28日
使用 NVIDIA Collective Communication Library 2.12 將所有 all2all 性能翻倍
集體通信是現代分布式人工智能培訓工作(如推薦系統和自然語言處理)的一個關鍵性能組成部分。
3 MIN READ