網絡 – NVIDIA 技術博客
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 12 Dec 2024 04:07:58 +0000
zh-CN
hourly
1
196178272 -
將 AI-RAN 引入您附近的電信公司
Tue, 08 Oct 2024 07:54:36 +0000
http://www.open-lab.net/zh-cn/blog/?p=11453
Continued]]>
生成式 AI 和 AI 智能體的推理將推動 AI 計算基礎設施從邊緣分配到中央云的需求。 IDC 預測 ，“商業 AI (消費者除外) 將為全球經濟貢獻 19.9 萬億美元，并占 GDP 的 3.5% 直到 2030 年。” 5G 網絡還必須不斷發展，以服務于新傳入的人工智能流量。在此過程中，電信公司有機會成為托管企業人工智能工作負載的本地人工智能計算基礎設施，獨立于網絡連接，同時滿足其數據隱私和主權要求。這是加速計算基礎設施的亮點所在，能夠加速無線電信號處理和人工智能工作負載。最重要的是，相同的計算基礎設施可用于處理人工智能和無線電接入網（RAN）服務。這種組合被電信行業稱為 AI-RAN 。 NVIDIA 正在推出 Aerial RAN Computer-1，這是全球首個 AI-RAN 部署平臺，可以在通用加速基礎設施上同時服務 AI 和 RAN 工作負載。
Source
]]>
11453
-
借助 NVIDIA 集合通信庫實現顯存高效、快速初始化和成本估算優化 2.22
Mon, 16 Sep 2024 07:29:51 +0000
http://www.open-lab.net/zh-cn/blog/?p=11260
Continued]]>
在過去幾個月中，NVIDIA 集合通信庫（NCCL）開發者一直在努力開發一系列新的庫功能和錯誤修復。在本文中，我們將討論 NCCL 2.22 版本的詳細信息以及解決的痛點。 NVIDIA Magnum IO NCCL 是一個旨在優化 GPU 之間和多節點通信的庫，對于 AI 和 HPC 應用中的高效并行計算至關重要。這次版本的價值在于其新的特點： 在本節中，我們將深入探討每個新功能的詳細信息： NCCL 使用一組靜態分配的持久性連接和緩沖區，以運行其即時數據傳輸協議。對于 NCCL 支持的每種給定算法和協議，它都會創建一組單獨的連接和緩沖區，每個連接和緩沖區都需要數 MB 的 GPU 內存。 作為參考，算法定義了給定集合的參與者之間的高級數據移動，協議定義了 NCCL 發送數據的方式。根據操作、消息大小、規模和拓撲結構，選擇給定的算法和協議，
Source
]]>
11260
-
利用 NVIDIA Magnum IO NVSHMEM 3.0 實現跨平臺應用程序的可移植性和兼容性增強
Fri, 06 Sep 2024 09:04:14 +0000
http://www.open-lab.net/zh-cn/blog/?p=11311
Continued]]>
NVSHMEM 是一個并行編程接口，可為 NVIDIA GPU 集群提供高效且可擴展的通信。NVSHMEM 是 NVIDIA Magnum IO 的一部分，基于 OpenSHMEM，可為跨越多個 GPU 內存的數據創建全局地址空間，并可通過細粒度的 GPU 初始化操作、CPU 初始化操作和 CUDA 流操作進行訪問。 現有的通信模型（例如 Message Passing Interface（MPI））使用 CPU 編排數據傳輸。相比之下，NVSHMEM 使用 GPU 發起的異步數據傳輸，從而消除 CPU 和 GPU 之間的同步開銷。 本文將詳細介紹NVSHMEM 3.0版本，包括我們在各個平臺和系統中啟用的新功能和支持。 NVSHMEM 3.0 引入了多節點、多互連支持、主機設備 ABI 向后兼容性和 CPU 輔助 InfiniBand GPU…
Source
]]>
11311
-
實時神經接收器推動 AI-RAN 創新
Tue, 03 Sep 2024 04:55:23 +0000
http://www.open-lab.net/zh-cn/blog/?p=11149
Continued]]>
當今的 5G New Radio (5G NR) 無線通信系統依靠高度優化的信號處理算法，在短短幾微秒內重建從雜信道觀察到的傳輸消息。這一非凡的成就是電信工程師和研究人員數十年不懈努力的成果，他們不斷改進信號處理算法，以滿足無線通信嚴苛的實時限制。 最初，一些算法因其在發現時過于復雜而被廣泛遺忘。Gallager 在 20 世紀 60 年代發現的低密度奇偶校驗（LDPC）代碼就是一個明顯的例子。David MacKay 在 20 世紀 90 年代重新發現了這些算法，現在它們已成為 5G NR 的支柱。這說明，即使是最好的算法也不切實際，除非它們滿足電信行業嚴格的計算和延遲要求。 無線通信領域的 AI 技術已經引起了學術界和行業研究人員的廣泛關注，如在《An Introduction to Deep Learning for the Physical Layer》和《An…
Source
]]>
11149
-
NVIDIA Spectrum-X 加速大規模 AI 工作負載優化
Tue, 27 Aug 2024 07:34:09 +0000
http://www.open-lab.net/zh-cn/blog/?p=11104
Continued]]>
在當今迅速發展的技術格局中，保持領先地位不僅僅是一個目標——這是一個必要條件。創新浪潮，尤其是 AI 領域的創新，正在推動整個技術堆棧的巨大變革。 見證深刻變革的一個領域是以太網（Ethernet）網絡，這是數字通信的基石，數十年來一直是企業和數據中心環境的基礎。 如今，每個數據中心都在加速，以支持現代 AI 工作負載，從而增加了對支持這些工作負載的基礎設施的需求。許多企業已經非常熟悉 Ethernet，將其作為可信網絡標準。然而，他們缺乏一種解決方案來充分支持使用 Ethernet 協議的 AI 工作負載的特性。 NVIDIA 的創新愿望通常是出于對理解和響應客戶不斷變化的需求的深刻承諾，確保我們的解決方案不僅滿足而且可以預測并超過預期。 進入 NVIDIA Spectrum-X 時代，NVIDIA Spectrum-X 是全球首款高性能以太網結構，
Source
]]>
11104
-
聚焦：NVIDIA BlueField DPU 助力 Vast 數據平臺優化 AI 工作負載
Tue, 06 Aug 2024 03:18:08 +0000
http://www.open-lab.net/zh-cn/blog/?p=10919
Continued]]>
隨著對復雜 AI 功能的需求不斷增加，VAST Data 推出了 VAST Data Platform，該平臺現已通過 NVIDIA BlueField DPU 進行增強。這項創新專為滿足 AI 驅動的數據中心的嚴格要求而量身打造，并優化了 AI 工作負載和數據管理。 本文介紹了 BlueField DPU 如何為 VAST 帶來顯著的性能和效率提升，確保更快的數據訪問和處理速度，同時降低功耗和空間需求。 優化 AI 工作負載需要管理大量非結構化數據，確保高速數據訪問，并保持穩健的數據安全性。傳統的數據存儲和處理系統通常難以解決延遲、低效和可擴展性問題，這些問題可能會影響 AI 應用程序的性能。此外，對實時數據處理和嚴格安全性的需求增加了有效管理 AI 工作負載的復雜性。 NVIDIA BlueField-3 DPU 使組織能夠滿足現代 AI 工作負載的苛刻要求，
Source
]]>
10919
-
使用 NVIDIA Bluefield-3 DPU 與 DDN 存儲集成加速 AI 基礎架構
Tue, 23 Jul 2024 10:39:38 +0000
http://www.open-lab.net/zh-cn/blog/?p=10746
Continued]]>
隨著 AI 成為組織創新和競爭優勢不可或缺的一部分，對高效且可擴展的基礎設施的需求比以往任何時候都更加迫切。NVIDIA 和 DDN Storage 之間的合作正在該領域樹立新的標準。通過將 NVIDIA BlueField 數據處理器 集成到 DDN EXAScaler 和 DDN Infinia，并以創新方式使用，DDN Storage 正在改變以數據為中心的工作負載。 NVIDIA 先進的數據處理與 DDN 強大的存儲解決方案的協同作用可以優化 AI 工作流程、增強運營、提高資源利用率，并在 AI 環境中支持多租戶。 在本文中，我們將重點介紹 Infinia 的集成優勢。 DDN Infinia 是一個軟件定義數據平臺，利用 BlueField-3 DPU 的強大功能來有效管理以數據為中心的工作負載，尤其是在加速計算和生成式人工智能方面。這種集成增強了多租戶，
Source
]]>
10746
-
NVIDIA Holoscan 和 RTI Connext 共同推動 AI 醫療設備的發展前景
Wed, 03 Jul 2024 04:02:07 +0000
http://www.open-lab.net/zh-cn/blog/?p=10495
Continued]]>
各行各業對實時見解和自主決策的需求與日俱增，醫療健康和醫療設備也不例外。依靠實時邊緣 AI，新一代醫療健康有望提供更精確的治療、改善患者治療效果并提高運營效率。 例如，未來的手術室將越來越多地采用支持人工智能和互聯的設備，以便實時訪問和交換整體患者數據、手術見解、決策和行動。 在這樣的未來，軟件即醫療設備（SaMD）必須在嚴格的要求下運行，在分布式醫療系統中部署時，需要處理具有嚴格性能和延遲限制的大規模數據，同時確保高效、可靠和安全的數據連接，并在不影響性能或延遲的情況下在各種傳感器、顯示器、控制器和應用之間進行交換。 本文將介紹如何集成NVIDIA Holoscan和RTI Connext，以創建具有高互操作性、低延遲和分布式連接的 AI 驅動的醫療設備應用程序。此集成可在盡可能減少開銷的情況下實現這些優勢，并減少實施工作和復雜性。
Source
]]>
10495
-
在 NVIDIA Air 上探索 SONiC
Mon, 24 Jun 2024 05:45:21 +0000
http://www.open-lab.net/zh-cn/blog/?p=10438
Continued]]>
測試網絡基礎設施和為新環境構建可工作的 PoC，往好了說可能很棘手，往壞了說可能非常可怕。你可能會遇到無法滿足的許可要求，或者為高級虛擬機軟件支付昂貴的費用。專有網絡系統可能花費數百或數千美元，只是為了建立一個可供使用的測試環境。你甚至可能會被迫在物理、可能過時的硬件上進行測試，你必須自己連接，如果你需要用更多的硬件進行測試，你必須找到并購買更多。 進入SONiC（云中開放網絡軟件），這是一個免費的、社區開發的、基于 Linux 的網絡操作系統（NOS），它在一些最大的云服務提供商的數據中心得到了加強 SONiC 是尋求低成本、可擴展和完全可控的 NOS 而又不犧牲靈活性或安全性的中心的理想選擇，它提供了開發人員所需的所有標準網絡功能，并隨著新功能和更新不斷發展。 Community SONiC 是開源的，與專有的 NOS 相比，它消除了許可和供應商鎖定墻，并顯著降低了成本，
Source
]]>
10438
-
使用 NVIDIA DOCA GPUNetIO 解鎖 GPU 加速的 RDMA
Thu, 13 Jun 2024 09:21:03 +0000
http://www.open-lab.net/zh-cn/blog/?p=10482
Continued]]>
NVIDIA DOCA GPUNetIO是 NVIDIA DOCA SDK 中的一個庫，專門為實時內聯 GPU 數據包處理而設計。它結合了GPUDirect RDMA和GPUDirect Async等技術，能夠創建以 GPU 為中心的應用程序，其中 CUDA 內核可以直接與網絡接口卡（NIC）通信，用于發送和接收數據包，繞過 CPU 并將其排除在關鍵路徑之外。 DOCA GPUNetIO 的核心原理和用途已在前幾篇文章《Inline GPU Packet Processing with NVIDIA DOCA GPUNetIO》和《Realizing the Power of Real-Time Network Processing with NVIDIA DOCA GPUNetIO》以及DOCA GPUNetIO 編程指南中進行了討論。 此前，
Source
]]>
10482
-
聚焦：思科借助 NVIDIA BlueField-3 DPU 提高工作負載安全性和運營效率
Mon, 10 Jun 2024 06:59:14 +0000
http://www.open-lab.net/zh-cn/blog/?p=10346
Continued]]>
隨著網絡攻擊變得越來越復雜，組織必須不斷采用先進的解決方案來保護其關鍵資產。其中一種解決方案是Cisco Secure Workload，這是一種全面的安全解決方案，旨在保護跨不同基礎設施、位置和外形尺寸的應用程序工作負載。 Cisco 最近發布了 Cisco Secure Workload 3.9 版，該版本將企業的安全性和運營效率提升到了新的水平。它提供了新的功能來緩解威脅和漏洞，并為部署 microsegmentation 提供了更大的靈活性。現在，它還擴展到NVIDIA BlueField-3 數據處理器，其專用 Arm 核心可以加速硬件任務并隔離特定操作，從而確保高效數據處理和強大的安全性，從而打造更精簡、更安全的基礎設施。 思科安全工作負載可為每次工作負載交互提供出色的可見性，并利用 AI 的強大功能自動執行人類管理員無法完成的任務，從而保護應用程序工作負載。
Source
]]>
10346
-
借助 NVIDIA DOCA 2.7 增強 AI 云數據中心和 NVIDIA Spectrum-X
Thu, 23 May 2024 04:51:03 +0000
http://www.open-lab.net/zh-cn/blog/?p=10093
Continued]]>
我們通過 NVIDIA DOCA 加速框架，為開發者提供了豐富的庫、驅動和 API，以創建高性能應用程序和服務，支持 NVIDIA BlueField 數據處理器 (DPU) 和 SuperNIC。DOCA 2.7 是一個功能豐富的全面版本，進一步擴展了 DOCA 軟件框架的范圍和價值，提供了多個新的庫、一站式應用和功能齊全的服務。 DOCA 2.7 擴展了 BlueField DPU 在數據中心內卸載、加速和隔離網絡、存儲、安全和管理基礎設施方面的能力。該版本還進一步增強了 AI 云數據中心，并通過 NVIDIA Spectrum-X 網絡平臺，為 AI 工作負載提供了卓越的性能。 本文中詳細介紹的版本亮點包括： DOCA 2.7 為以太網 AI 云部署啟用 NVIDIA Spectrum-X 1.0.1 (SPC-X 1.0.1) 參考架構。此架構經過嚴格測試，
Source
]]>
10093
-
為企業提供增強的人工智能 5G 安全的智能交通分流
Mon, 06 May 2024 06:46:09 +0000
http://www.open-lab.net/zh-cn/blog/?p=9862
Continued]]>
保護私有 5G 和邊緣應用帶來了許多挑戰。復雜的基于 AI 和 ML 的攻擊活動需要安全性來實時響應。 Palo Alto Networks 的安全平臺多年來一直在整合 ML 和 AI 技術突破，以確保實時 ML 功能和 AI 驅動的事件響應是自主的。 Palo Alto Networks 和 NVIDIA 的團隊合作構建了 智能交通卸載（ITO），我們的目標非常明確：使任何企業都能在不損害安全性同時保持性能和效率的情況下接受 5G。我們創建了 ITO 作為一種基礎解決方案，以幫助現代企業建立快速、安全的私有 5G 基礎設施。 數據處理器（DPU）是邊緣計算 AI 和 ML 基礎設施、超大規模電信云以及任何提供 IT、OT 或 IoT 網絡和服務的云中的關鍵組件。企業客戶使用 ITO 擴展安全功能，并將防火墻的總體吞吐量提高至少 5 倍。 我們為 ITO 帶來了多種增強功能，
Source
]]>
9862
-
借助 NVIDIA Aerial CUDA 加速 RAN，增強 5G/6G 的 DU 性能和工作負載整合
Mon, 22 Apr 2024 05:06:24 +0000
http://www.open-lab.net/zh-cn/blog/?p=9650
Continued]]>
Aerial CUDA 加速無線電接入網 (RAN) 可加速電信工作負載，使用 CPU、GPU 和 DPU 在云原生加速計算平臺上提供更高水平的頻譜效率 (SE)。 適用于 Aerial 的 NVIDIA MGX GH200 基于先進的 NVIDIA Grace Hopper 超級芯片和 NVIDIA Bluefield-3 DPU 構建，旨在加速 5G 端到端無線網絡： 這種全棧加速方法可提供領先的性能和頻譜效率，同時降低總擁有成本 (TCO)，并為更好的資產回報 (ROA) 開辟新的盈利機會。 NVIDIA 6G Research Cloud 平臺中提供了 Aerial CUDA 加速的 RAN 軟件堆棧。 電信公司已投入數十億資金購買 4G/5G 頻譜，預計他們將再次投入購買 6G 頻譜，以滿足日益增長的移動用戶需求。 該生態系統包括芯片制造商、
Source
]]>
9650
-
借助加速以太網網絡和網絡存儲擴展企業 RAG
Mon, 18 Mar 2024 04:50:31 +0000
http://www.open-lab.net/zh-cn/blog/?p=9282
Continued]]>
在生成式人工智能中，機器不僅可以從數據中學習，還可以生成類似人類的文本、圖像、視頻等。檢索增強生成 (RAG) 是一種突破性的方法。 RAG 工作流程基于 大型語言模型(LLM)，可以理解查詢并生成響應。但是，LLM 存在局限性，包括訓練復雜性和缺乏當前 (有時是專有) 信息。此外，當未根據特定數據進行訓練以回答提示時，它們往往會產生幻覺并合成事實錯誤的信息。RAG 通過向 LLM 提供企業特定信息來增強查詢，以幫助克服這些限制。 在本文中，我們討論了 RAG 如何助力企業為各種企業用例創建高質量、相關且引人入勝的內容。我們深入探討了擴展 RAG 以處理大量數據和用戶所面臨的技術挑戰，以及如何使用由 NVIDIA GPU 計算、加速以太網網絡、網絡存儲和 AI 軟件提供支持的可擴展架構來應對這些挑戰。 典型的 RAG 工作流程使用 向量數據庫，
Source
]]>
9282
人人超碰97caoporen国产