Ethernet – NVIDIA 技術博客

通過 AI 的全棧優化在 MLPerf 推理 v3.0 中創下新紀錄

Wed, 05 Apr 2023 03:03:51 +0000

目前最令人興奮的計算應用程序依賴于在復雜的人工智能模型上進行訓練和運行推理，通常是在要求苛刻的實時部署場景中。需要高性能、加速的人工智能平臺來滿足這些應用程序的需求，并提供最佳的用戶體驗新的人工智能模型不斷被發明，以實現新的功能，而人工智能驅動的應用程序往往依賴于許多這樣的模型協同工作。這意味著人工智能平臺必須能夠運行最廣泛的工作負載，并在所有工作負載上提供優異的性能。MLPerf Inference– 現在， v3.0 的第七版是一套值得信賴的、經過同行評審的標準化推理性能測試，代表了許多這樣的人工智能模型。人工智能應用程序無處不在，從最大的超大規模數據中心到緊湊的邊緣設備。 MLPerf 推理同時代表數據中心和邊緣環境。它還代表了一系列真實世界的場景，如離線（批處理）處理、延遲受限的服務器、單流和多流場景。

Source

]]>

為 Microsoft Azure SONiC 選擇 NVIDIA Spectrum

Mon, 31 Oct 2022 06:05:00 +0000

每個人都認為開放式解決方案是最好的解決方案，但真正開放的以太網交換機操作系統很少。在 NVIDIA ，我們擁抱了以太網交換機的開源。除了支持 SONiC ，我們還為開源社區項目貢獻了許多創新。這篇文章最初于 2018 年 6 月發布在 Mellanox 博客上，但已更新。微軟使用 Azure 運行著世界上最大的云之一。在構建和部署 Azure 的過程中，他們對管理全球、高性能、高可用性和安全的網絡有了很多見解。微軟用于 Azure 的網絡操作系統（ NOS ） SONiC （云開放網絡軟件）是基于開源的。他們在數百個數據中心和數萬臺交換機上的經驗讓他們了解了需要什么： SONiC 是網絡交換機操作和管理的突破，它滿足了這些要求。微軟將這項創新開源給社區，并在他們的 SONiC GitHub 存儲庫中提供。 SONiC 是一個獨特的可擴展平臺，

Source

]]>

通過 NVIDIA Spectrum Ethernet 和 Microsoft Azure Stack HCI 實現創新的超融合網絡

Tue, 25 Oct 2022 03:02:00 +0000

各種規模的企業越來越多地利用虛擬化和超連通基礎設施（ HCI ）。這項技術為運營提供可靠和安全的計算資源，同時減少數據中心占地面積。 HCI 集群依靠強大、功能豐富的網絡結構來提供能夠無縫連接到云的本地解決方案。 Microsoft Azure Stack HCI 是一個超融合基礎架構集群解決方案，可以運行容器化應用程序。它在混合環境中托管虛擬化的 Windows 和 Linux 工作負載和存儲，該混合環境將本地基礎設施與 Azure 云服務相結合。 Azure Stack HCI 的服務器組件可以使用支持適當驗證要求的設備進行互連。 NVIDIA Spectrum Ethernet switches 是專門構建的網絡解決方案，旨在支持 Microsoft Azure Stack HCI 的要求。這種內部部署解決方案使企業能夠利用云功能，有效地創建混合云解決方案。

Source

]]>

找出應用程序和網絡的交叉點

Wed, 28 Sep 2022 07:05:00 +0000

現代數據中心可以運行數千種服務和應用程序。當出現問題時，作為網絡管理員，您默認是有罪的。你必須每天證明自己的清白，因為很容易指責網絡。這是一個不公平的世界。很難將應用程序性能問題與網絡關聯起來。您可以從使用簡單的 ping 或 traceroute 檢查基本連接開始，檢查基于 SNMP 的監視工具、嗅探器，甚至讀取設備計數器以查找丟棄。與此同時，用戶遭受應用程序速度慢、性能差甚至不可用的困擾。不幸的是，所有這些經典的網絡故障排除方法都很耗時，不能保證成功，因為有時使用它們幾乎不可能查明問題。為了方便網絡故障排除， NVIDIA 開發了 NetQ – 一個可擴展的現代網絡操作工具集，可實時提供網絡可見性。 NetQ 團隊最近推出了獨特的 flow analysis 工具，以進一步增強可見性。流分析允許網絡管理員立即將服務流量流與結構中的路徑關聯起來，

Source

]]>

通過 NVIDIA Spectrum Ethernet 的自適應路由加速您的網絡

Mon, 27 Jun 2022 05:21:00 +0000

NVIDIA 加速 AI 平臺和產品（如 NVIDIA EGX 、 DGX 、 OVX 和 NVIDIA AI for Enterprise ）需要數據中心網絡的最佳性能。 NVIDIA Spectrum Ethernet 平臺通過芯片級創新實現了這一性能。融合以太網 RDMA 自適應路由（ RoCE ）通過減少網絡擁塞問題加快了應用程序的速度。這篇文章介紹了 NVIDIA 頻譜以太網的自適應路由技術，并提供了一些初步的性能基準。您不必是云服務提供商就可以從橫向擴展網絡中獲益。網絡行業已經發現，具有第 2 層轉發和生成樹的傳統網絡架構效率低下，而且難以擴展。他們過渡到 IP 網絡結構。這是一個很好的開始，但在某些情況下，它可能不足以解決新類型的應用程序和跨數據中心引入的流量。可擴展 IP 網絡的一個關鍵屬性是它們能夠跨多個交換機層次結構分布大量流量和流量。

Source

]]>

我需要更新我的數據中心網絡嗎？

Wed, 09 Mar 2022 04:28:00 +0000

通常，在基礎設施中安裝新的應用程序或服務器時，數據中心網絡會更新。但獨立于新的服務器和應用基礎設施迫使更新，還有其他領域需要考慮。在評估是否需要更新網絡時，需要問三個問題：網絡設備選擇通常從了解服務器網絡接口卡（ NIC ）的配置開始。在過去， 10G 每秒（ 10G ）的服務器 NIC 被視為標準。但在過去的 5 年里，我們看到了服務器計算能力的真正增長。在加速計算的世界里，我們傾向于將 25 到 100G 的網絡速度視為服務器的新標準，最新的服務器甚至可以使用 200G NIC 。隨著 NIC 速度的提高，機架頂部（葉）交換機需要升級。未能更新舊版核心（ spine ）交換機將導致超額訂閱率出現不利變化，導致過度擁塞和不可預測的延遲。如果要升級葉開關，還需要升級脊椎開關。目標應該是保持同樣的超額認購率。除了硬件之外，可能還需要升級網絡操作系統（ NOS ），

Source

]]>

使用 NetQ 4.1.0 分析結構范圍內的網絡延遲

Mon, 07 Feb 2022 07:00:00 +0000

NetQ 4.1.0 最近發布，引入了結構范圍的網絡延遲和緩沖區占用分析，以及許多其他增強功能。有關所有新功能的更多信息，請參閱 NetQ 4.1.0 用戶指南。這篇文章包括以下特點： NetQ 首次通過使用實時應用程序流量來解決影響應用程序性能的網絡問題，提供了網絡范圍的結構延遲和緩沖區占用分析。 NetQ 使用 Cumulus Linux 對匹配 4 元組和 5 元組應用程序流的數據包進行采樣，分析并報告每個交換機的延遲（最大、最小、平均）以及流路徑上的緩沖區占用詳細信息。 NetQ 圖形用戶界面會報告所有可能的路徑、正在使用的路徑以及每個路徑的詳細信息（圖 1 ）。在每個交換機上，都可以看到最小延遲、最大延遲和平均延遲。 WJH 是一種始終在線的全數據包檢查工具，用于以線路速率檢測網絡問題，包括數據包丟失、擁塞和延遲問題。通過與 WJH 合作，

Source

]]>

利用 NVIDIA Air 市場帶來網絡化

Wed, 15 Dec 2021 06:48:00 +0000

網絡模擬是必不可少的，因為基于 CLI 和冒險的基于復制/粘貼的配置的經典部署模型在中大規模環境中已變得效率低下。 NVIDIA Air 提供了一個平臺，用于構建、模擬和體驗由現代網絡操作系統（ NOS ）驅動的現代數據中心。 NVIDIA Air 是一個基于云的環境，在瀏覽器中運行，后端由 NVIDIA Cumulus Linux 、 SONiC 和 Linux （即標準服務器 Linux ）提供支持。這種網絡模擬方法顯示了從傳統網絡到本地云新領域的范式轉變。 Air 的設計目的是消除對 hypervisor 的需求， hypervisor 對于快速功能測試來說常常是資源瓶頸和耗時限制。 Air 解決了許多情況： Air 為網絡團隊提供了一個始終可訪問、始終在線的培訓或試生產環境。企業現在可以縮小硬件占地面積，減少開支；由于硬件需求減少，資本支出降低；

Source

]]>