Spectrum 以太網 – NVIDIA 技術博客

NVIDIA Spectrum-X 網絡平臺和合作伙伴提升 AI 存儲性能達48%

Tue, 04 Feb 2025 06:56:25 +0000

AI 工廠依靠的不僅僅是計算網。當然，連接 GPU 的東西向網絡對于 AI 應用的性能至關重要，而連接高速存儲陣列的存儲網也不容忽視。存儲性能在運行 AI 業務過程中的多個階段中發揮著關鍵作用, 包括訓練過程中的Checkpoint操作、推理過程中的檢索增強生成 (RAG) 等。為了滿足這些需求，NVIDIA 和存儲生態合作伙伴正在將 NVIDIA Spectrum-X 網絡平臺擴展到數據存儲網，從而帶來更高的性能和更快的實現AI的時間。由于 Spectrum-X 動態路由技術能夠緩解網絡中的流量沖突并增加有效帶寬，從而使存儲性能遠高于 RoCE v2，RoCE v2是大多數數據中心用于 AI 計算網和存儲網的以太網網絡協議。 Spectrum-X 將讀取帶寬加速了高達 48%，寫入帶寬加速了高達 41%。帶寬的增加可以更快地完成 AI 工作流中與存儲相關的操作，

Source

]]>

NVIDIA SuperNIC 驅動新一代 AI 網絡發展

Tue, 15 Oct 2024 04:39:33 +0000

在生成式 AI 時代，加速網絡對于為大規模分布式 AI 工作負載構建高性能計算結構至關重要。NVIDIA 在該領域繼續保持領先地位，提供先進的以太網和 InfiniBand 解決方案，可最大限度地提高 AI 工廠和云數據中心的性能和效率。這些解決方案的核心是 NVIDIA SuperNIC，一種經過優化的新型網絡加速器，可為超大規模 AI 工作負載提供支持。這些 SuperNIC 是 NVIDIA Spectrum-X 以太網和 Quantum-X800 InfiniBand 網絡平臺的關鍵組件，旨在提供前所未有的可擴展性和性能。 NVIDIA SuperNIC 產品組合中的最新成員 ConnectX-8 SuperNIC 與 BlueField-3 SuperNIC 一起，共同推動加速的大規模 AI 計算結構的新一輪創新浪潮。

Source

]]>

NVIDIA Spectrum-X 加速大規模 AI 工作負載優化

Tue, 27 Aug 2024 07:34:09 +0000

在當今迅速發展的技術格局中，保持領先地位不僅僅是一個目標——這是一個必要條件。創新浪潮，尤其是 AI 領域的創新，正在推動整個技術堆棧的巨大變革。見證深刻變革的一個領域是以太網（Ethernet）網絡，這是數字通信的基石，數十年來一直是企業和數據中心環境的基礎。如今，每個數據中心都在加速，以支持現代 AI 工作負載，從而增加了對支持這些工作負載的基礎設施的需求。許多企業已經非常熟悉 Ethernet，將其作為可信網絡標準。然而，他們缺乏一種解決方案來充分支持使用 Ethernet 協議的 AI 工作負載的特性。 NVIDIA 的創新愿望通常是出于對理解和響應客戶不斷變化的需求的深刻承諾，確保我們的解決方案不僅滿足而且可以預測并超過預期。進入 NVIDIA Spectrum-X 時代，NVIDIA Spectrum-X 是全球首款高性能以太網結構，

Source

]]>

借助 NVIDIA DOCA 2.7 增強 AI 云數據中心和 NVIDIA Spectrum-X

Thu, 23 May 2024 04:51:03 +0000

我們通過 NVIDIA DOCA 加速框架，為開發者提供了豐富的庫、驅動和 API，以創建高性能應用程序和服務，支持 NVIDIA BlueField 數據處理器 (DPU) 和 SuperNIC。DOCA 2.7 是一個功能豐富的全面版本，進一步擴展了 DOCA 軟件框架的范圍和價值，提供了多個新的庫、一站式應用和功能齊全的服務。 DOCA 2.7 擴展了 BlueField DPU 在數據中心內卸載、加速和隔離網絡、存儲、安全和管理基礎設施方面的能力。該版本還進一步增強了 AI 云數據中心，并通過 NVIDIA Spectrum-X 網絡平臺，為 AI 工作負載提供了卓越的性能。本文中詳細介紹的版本亮點包括： DOCA 2.7 為以太網 AI 云部署啟用 NVIDIA Spectrum-X 1.0.1 (SPC-X 1.0.1) 參考架構。此架構經過嚴格測試，

Source

]]>

借助加速以太網網絡和網絡存儲擴展企業 RAG

Mon, 18 Mar 2024 04:50:31 +0000

在生成式人工智能中，機器不僅可以從數據中學習，還可以生成類似人類的文本、圖像、視頻等。檢索增強生成 (RAG) 是一種突破性的方法。 RAG 工作流程基于大型語言模型(LLM)，可以理解查詢并生成響應。但是，LLM 存在局限性，包括訓練復雜性和缺乏當前 (有時是專有) 信息。此外，當未根據特定數據進行訓練以回答提示時，它們往往會產生幻覺并合成事實錯誤的信息。RAG 通過向 LLM 提供企業特定信息來增強查詢，以幫助克服這些限制。在本文中，我們討論了 RAG 如何助力企業為各種企業用例創建高質量、相關且引人入勝的內容。我們深入探討了擴展 RAG 以處理大量數據和用戶所面臨的技術挑戰，以及如何使用由 NVIDIA GPU 計算、加速以太網網絡、網絡存儲和 AI 軟件提供支持的可擴展架構來應對這些挑戰。典型的 RAG 工作流程使用向量數據庫，

Source

]]>

對 NVIDIA Spectrum-X 進行 AI 網絡性能基準測試，現已可從 Supermicro 獲取

Thu, 22 Feb 2024 07:10:45 +0000

NVIDIA Spectrum-X 網絡平臺作為超大規模云基礎設施中的 AI 量身打造的領先網絡平臺，NVIDIA 正在迅速獲得吸引力。Spectrum-X 網絡技術幫助企業客戶加速生成式 AI 工作負載。NVIDIA 宣布，該平臺在 2023 年 11 月新聞稿以及由 Spectrum-X 提供支持的 NVIDIA Israel-1 超級計算機的更新。 NVIDIA 現在宣布 Supermicro 已作為 Spectrum-X 平臺的 OEM 合作伙伴加入。Spectrum-X 將納入 Supermicro GPU 超級服務器，提供 4U、5U 和 8U 外形尺寸，并將支持 NVIDIA GPU 在 NVIDIA HGX H100，NVIDIA H100 和 NVIDIA L40S PCIe 外形規格。這些 Supermicro 系統通過提供出色的網絡性能、

Source

]]>