圖形分析 – NVIDIA 技術博客

面向 NetworkX 用戶的加速生產就緒型圖形分析

Wed, 04 Sep 2024 04:41:55 +0000

NetworkX 是一款熱門且易于使用的 Python 圖形分析庫。然而，其性能和可擴展性可能無法滿足中型到大型網絡的需求，這可能會嚴重影響用戶的工作效率。 NVIDIA 和 ArangoDB 已經通過一項無需更改 NetworkX 代碼的解決方案共同解決了這些性能和擴展問題，該解決方案集成了三個主要組件：在本文中，我將討論如何讓 NetworkX 用戶的生活更輕松，向您展示一個實現示例，并解釋如何開始搶先體驗。 NetworkX 廣泛用于數據科學家、學生和許多其他人員的圖形分析。它是開源的、 WELL-DOCUMENTED 并通過簡單的 API 支持大量算法。也就是說，其一個已知的限制是它在中大型圖形方面的性能，這嚴重地影響了它在生產應用中的實用性。 RAPIDS cuGraph 圖形分析加速庫彌合了 NetworkX 與基于 GPU…

Source

]]>

革命性的圖形分析： NVIDIA cuGraph 加速的下一代架構

Thu, 09 May 2024 07:35:09 +0000

在我們的先前的圖分析探索中，我們使用 NVIDIA cuGraph 揭示了 GPU-CPU 融合的變革力量。基于這些見解，我們現在引入了一種革命性的新架構，它重新定義了圖處理的邊界。在我們早期涉足圖形分析的過程中，我們在使用的架構方面面臨著各種挑戰。這種體系結構雖然有效，但也造成了阻礙設置和性能的障礙。這些依賴關系不僅使設置過程復雜化，而且對實現最佳性能也提出了挑戰。對共享磁盤基礎設施的需求，加上基于 Python 的服務和 Thrift 通信，造成了一個難以有效配置和擴展的系統。在我們尋求加速圖形分析的過程中，很明顯，范式轉變是必要的。進入下一代架構，這是一種革命性的方法，旨在克服前代架構的局限性，開啟圖形處理的新領域。讓我們詳細探討一下這一突破性的體系結構。在我們尋求徹底改變圖形分析的過程中，

Source

]]>

使用 WholeGraph 優化圖形神經網絡的內存和檢索，第 2 部分

Wed, 03 Apr 2024 07:42:42 +0000

大規模圖形神經網絡 (GNN) 訓練帶來了艱巨的挑戰，特別是在圖形數據的規模和復雜性方面。這些挑戰不僅涉及神經網絡的正向和反向計算的典型問題，還包括帶寬密集型圖形特征收集和采樣以及單個 GPU 容量限制等問題。在上一篇文章中，WholeGraph 被作為 RAPIDS cuGraph 庫中的一項突破性功能，旨在優化大規模 GNN 訓練的內存存儲和檢索。在我的簡介文章奠定的基礎上，本文將更深入地探討 WholeGraph 的性能評估。我的重點還擴展到它作為存儲庫和 GNN 任務促進器的作用。借助 NVIDIA NVLink 技術的強大功能，我將探討 WholeGraph 如何應對 GPU 間通信帶寬的挑戰，有效打破通信瓶頸并簡化數據存儲。通過檢查其性能和實際應用，我的目標是展示 WholeGraph 在克服大規模 GNN 訓練中固有障礙方面的有效性。

Source

]]>

WholeGraph 存儲：優化圖形神經網絡的內存和檢索

Fri, 08 Mar 2024 08:20:14 +0000

圖形神經網絡 (GNN) 徹底改變了圖形結構數據的機器學習。與傳統神經網絡不同，GNN 擅長捕捉圖形中的復雜關系，為從社交網絡到化學領域的應用程序提供動力支持。在節點分類和邊鏈預測等場景中，GNN 可預測圖形節點的標簽，并決定節點之間的邊是否存在。在單個前向或反向通道中處理大型圖形會非常耗費計算資源和內存。大規模 GNN 訓練的工作流通常從子圖形采樣開始，以便使用 mini-batch 訓練。這包括收集特征，以便在子圖形中捕捉所需的上下文信息。隨后，提取的特征和子圖形將用于神經網絡訓練。在這一階段，GNN 能夠整合信息并實現節點知識的迭代傳播。但是，處理大型圖形會帶來挑戰。在社交網絡或個性化推薦等場景中，圖形可能包含大量節點和邊緣，每個節點都攜帶大量特征數據。節點特征數據每個頂點的大小可能達到幾千字節，因此節點特征數據的總大小可以輕松超過圖形拓撲數據的大小。

Source

]]>