Dongxu Yang – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Wed, 10 Apr 2024 07:51:33 +0000
zh-CN
hourly
1
196178272 -
使用 WholeGraph 優化圖形神經網絡的內存和檢索，第 2 部分
http://www.open-lab.net/zh-cn/blog/optimizing-memory-and-retrieval-for-graph-neural-networks-with-wholegraph-part-2/
Wed, 03 Apr 2024 07:42:42 +0000
http://www.open-lab.net/zh-cn/blog/?p=9439
Continued]]>
大規模圖形神經網絡 (GNN) 訓練帶來了艱巨的挑戰，特別是在圖形數據的規模和復雜性方面。這些挑戰不僅涉及神經網絡的正向和反向計算的典型問題，還包括帶寬密集型圖形特征收集和采樣以及單個 GPU 容量限制等問題。 在上一篇文章中，WholeGraph 被作為 RAPIDS cuGraph 庫中的一項突破性功能，旨在優化大規模 GNN 訓練的內存存儲和檢索。 在我的簡介文章奠定的基礎上，本文將更深入地探討 WholeGraph 的性能評估。我的重點還擴展到它作為存儲庫和 GNN 任務促進器的作用。借助 NVIDIA NVLink 技術的強大功能，我將探討 WholeGraph 如何應對 GPU 間通信帶寬的挑戰，有效打破通信瓶頸并簡化數據存儲。 通過檢查其性能和實際應用，我的目標是展示 WholeGraph 在克服大規模 GNN 訓練中固有障礙方面的有效性。
Source
]]>
9439
-
WholeGraph 存儲：優化圖形神經網絡的內存和檢索
http://www.open-lab.net/zh-cn/blog/wholegraph-storage-optimizing-memory-and-retrieval-for-graph-neural-networks/
Fri, 08 Mar 2024 08:20:14 +0000
http://www.open-lab.net/zh-cn/blog/?p=9232
Continued]]>
圖形神經網絡 (GNN) 徹底改變了圖形結構數據的機器學習。與傳統神經網絡不同，GNN 擅長捕捉圖形中的復雜關系，為從社交網絡到化學領域的應用程序提供動力支持。在節點分類和邊鏈預測等場景中，GNN 可預測圖形節點的標簽，并決定節點之間的邊是否存在。 在單個前向或反向通道中處理大型圖形會非常耗費計算資源和內存。 大規模 GNN 訓練的工作流通常從子圖形采樣開始，以便使用 mini-batch 訓練。這包括收集特征，以便在子圖形中捕捉所需的上下文信息。隨后，提取的特征和子圖形將用于神經網絡訓練。在這一階段，GNN 能夠整合信息并實現節點知識的迭代傳播。 但是，處理大型圖形會帶來挑戰。在社交網絡或個性化推薦等場景中，圖形可能包含大量節點和邊緣，每個節點都攜帶大量特征數據。 節點特征數據每個頂點的大小可能達到幾千字節，因此節點特征數據的總大小可以輕松超過圖形拓撲數據的大小。
Source
]]>
9232
人人超碰97caoporen国产