顯存 – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 14 Mar 2024 08:27:13 +0000
zh-CN
hourly
1
196178272 -
WholeGraph 存儲：優化圖形神經網絡的內存和檢索
http://www.open-lab.net/zh-cn/blog/wholegraph-storage-optimizing-memory-and-retrieval-for-graph-neural-networks/
Fri, 08 Mar 2024 08:20:14 +0000
http://www.open-lab.net/zh-cn/blog/?p=9232
Continued]]>
圖形神經網絡 (GNN) 徹底改變了圖形結構數據的機器學習。與傳統神經網絡不同，GNN 擅長捕捉圖形中的復雜關系，為從社交網絡到化學領域的應用程序提供動力支持。在節點分類和邊鏈預測等場景中，GNN 可預測圖形節點的標簽，并決定節點之間的邊是否存在。 在單個前向或反向通道中處理大型圖形會非常耗費計算資源和內存。 大規模 GNN 訓練的工作流通常從子圖形采樣開始，以便使用 mini-batch 訓練。這包括收集特征，以便在子圖形中捕捉所需的上下文信息。隨后，提取的特征和子圖形將用于神經網絡訓練。在這一階段，GNN 能夠整合信息并實現節點知識的迭代傳播。 但是，處理大型圖形會帶來挑戰。在社交網絡或個性化推薦等場景中，圖形可能包含大量節點和邊緣，每個節點都攜帶大量特征數據。 節點特征數據每個頂點的大小可能達到幾千字節，因此節點特征數據的總大小可以輕松超過圖形拓撲數據的大小。
Source
]]>
9232
人人超碰97caoporen国产