將 AI-RAN 引入您附近的電信公司

5G 網絡還必須不斷發展，以服務于新傳入的人工智能流量。在此過程中，電信公司有機會成為托管企業人工智能工作負載的本地人工智能計算基礎設施，獨立于網絡連接，同時滿足其數據隱私和主權要求。這是加速計算基礎設施的亮點所在，能夠加速無線電信號處理和人工智能工作負載。最重要的是，相同的計算基礎設施可用于處理人工智能和無線電接入網（RAN）服務。這種組合被電信行業稱為 AI-RAN 。

NVIDIA 正在推出 Aerial RAN Computer-1，這是全球首個 AI-RAN 部署平臺，可以在通用加速基礎設施上同時服務 AI 和 RAN 工作負載。

繼 T-Mobile 推出 AI-RAN 創新中心后 ，Aerial RAN Computer-1 通過電信公司可在全球采用的可部署平臺將 AI-RAN 變為現實。它可用于小型、中型或大型配置，在基站、分布式或集中式站點進行部署，從而有效地將網絡轉變為多用途基礎設施，為語音、視頻、數據和 AI 流量提供服務。

這是一種變革性解決方案，可利用 AI 重塑無線網絡，為電信公司提供了一個巨大的機會。電信公司可以利用其分布式網絡基礎設施、低延遲、有保證的服務質量、大規模以及保護數據隱私、安全和本地化的能力 (這些都是 AI 推理和代理 AI 應用的關鍵需求)，推動 AI 飛輪發展。

AI-RAN、AI Aerial 和 Aerial RAN Computer-1?

AI-RAN 是構建多用途網絡（同時也是 AI 原生網絡）的技術框架。隨著電信公司采用 AI-RAN，并從傳統的基于 ASIC 的單一用途 RAN 計算網絡轉向基于多用途加速計算的新型網絡，同時為 RAN 和 AI 提供服務，電信公司現在可以參與新的 AI 經濟，并可以利用 AI 提高網絡效率。

NVIDIA AI Aerial 包含三個計算機系統，用于設計、模擬、訓練和部署基于 AI-RAN 的 5G 和 6G 無線網絡。Aerial RAN Computer-1 是 NVIDIA AI Aerial 的基礎，為 AI-RAN 提供了商業級部署平臺。

Aerial RAN Computer-1 (圖 1) 為運行 RAN 和 AI 工作負載提供了通用的可擴展硬件基礎，包括 – 軟件定義的 5G、NVIDIA 或其他 RAN 軟件提供商提供的私有 5G RAN、容器化網絡函數、NVIDIA 或合作伙伴提供的 AI 微服務，或托管內部和第三方生成式 AI 應用。Aerial RAN Computer-1 采用模塊化設計，支持從 D-RAN 擴展到 C-RAN 架構，涵蓋農村到密集城市的用例。

NVIDIA CUDA-X 庫是加速計算的核心，為速度、準確性和可靠性提供了改進，并提高了效率。這意味著在相同的功率范圍內完成更多的工作。最重要的是，特定領域的庫 (包括電信行業特定的適應) 是使 Aerial RAN Computer-1 適合電信部署的關鍵。

NVIDIA DOCA 提供了一套工具和庫，可以顯著提升電信工作負載的性能，包括 RDMA、PTP/定時同步和基于以太網的前傳（eCPRI），以及對現代網絡基礎設施至關重要的 AI 工作負載。

整個堆棧共同支持可擴展的硬件、通用軟件和開放式架構，與生態系統合作伙伴一起提供高性能的人工智能無線接入網（AI-RAN）。

Aerial RAN Computer-1 的優勢?

借助 Aerial RAN Computer-1，無線網絡可以轉變為人工智能和射頻接入網絡（RAN）數據中心的大規模分布式網格，為電信公司開辟新的盈利途徑，同時通過軟件升級為 6G 鋪平道路。

Aerial RAN Computer-1 為電信服務提供商帶來的好處包括：

• 借助 AI 和生成式 AI 應用、邊緣 AI 推理或 NVIDIA GPU 即服務獲利。
• 與目前利用率通常僅為 30% 的單用途基站相比，基礎設施的利用率提高了 2-3 倍。使用相同的基礎設施托管內部生成式 AI 工作負載和其他容器化網絡功能 (例如 UPF 和 RIC)。
• 通過特定站點的 AI 學習提高無線電網絡性能，頻譜效率可提高高達兩倍。這意味著每 MHz 頻譜的直接成本節約。
• 為將 AI 融入每次交互的新一代應用提供高性能 RAN 和 AI 體驗。Aerial RAN Computer-1 在僅支持 RAN 的模式下可提供高達 170 Gb/s 的吞吐量；在僅支持 AI 的模式下可提供高達 25,000 個令牌/秒的吞吐量；或兩者兼得，性能優于傳統網絡。

Aerial RAN Computer-1 基礎模組?

Aerial RAN Computer-1 的關鍵硬件組件包括：

• NVIDIA GB200 NVL2
• NVIDIA Blackwell GPU
• NVIDIA Grace CPU
• NVLink2 C2C
• 第五代 NVIDIA NVLink
• 鍵值緩存
• MGX 參考架構
• 實時主流 LLM 推理

NVIDIA GB200 NVL2?

Aerial RAN Computer-1 中使用的 NVIDIA GB200 NVL2 平臺 (圖 2)徹底改變了數據中心和邊緣計算，為主流大語言模型 (LLMs)、vRAN、向量數據庫搜索和數據處理提供了出色的性能。

該橫向擴展單節點架構由兩個 NVIDIA Blackwell GPU 和兩個 NVIDIA Grace CPU 提供支持，可將加速計算無縫集成到現有基礎架構中。

這種通用性支持廣泛的系統設計和網絡選項，使 GB200 NVL2 平臺成為尋求利用 AI 和無線 5G 連接功能的數據中心、邊緣和基站位置的理想選擇。

例如，GB200 服務器的一半可以分配給 RAN 任務，另一半可以通過 多實例 GPU (MIG) 技術在單個基站上進行 AI 處理。對于聚合站點，一個完整的 GB200 服務器可以專用于 RAN，另一個專用于 AI。在集中部署中，一個 GB200 服務器集群可以在 RAN 和 AI 工作負載之間共享。

NVIDIA Blackwell GPU?

NVIDIA Blackwell 是一種革命性架構，可提供更高的性能、效率和規模。NVIDIA Blackwell GPU 包含 208 億個晶體管，并采用定制的 TSMC 4NP 工藝制造。所有 NVIDIA Blackwell 產品都配備兩個光罩限制裸片，通過統一的單個 GPU 中的 10-TB/s 芯片間互連技術連接。

NVIDIA Grace CPU?

NVIDIA Grace CPU 是一款突破性的處理器，專為運行 AI、vRAN、云和高性能計算 (HPC) 應用的現代數據中心而設計。它提供出色的性能和內存帶寬，能效是當今領先服務器處理器的 2 倍。

NVLink2 C2C?

GB200 NVL2 平臺使用 NVLink-C2C，在每個 NVIDIA Grace CPU 和 NVIDIA Blackwell GPU 之間實現了 900 GB/s 的突破性互聯。與第五代 NVLink 相結合，可提供龐大的 1.4-TB 一致性內存模型，從而加速 AI 和 vRAN 性能。

第五代 NVIDIA NVLink?

為了充分利用 exascale 計算和 trillion-parameter AI 模型的強大功能，服務器集群中的每個 GPU 都必須無縫、快速地進行通信。

第五代 NVLink 是一種高性能互聯技術，可通過 GB200 NVL2 平臺提供加速性能。

鍵值緩存?

鍵值（KV）緩存 通過存儲對話上下文和歷史記錄來提高大型語言模型（LLM）的響應速度。

GB200 NVL2 通過其完全一致的 NVIDIA Grace GPU 和 NVLink-C2C 連接的 NVIDIA Blackwell GPU 顯存來優化 KV 緩存，比 PCIe 快 7 倍。這使得 LLM 能夠比基于 x86 的 GPU 實現更快地預測單詞。

MGX 參考架構?

MGX GB200 NVL2 采用 2：2 的配置，CPU C-Link 和 GPU NVLink 相連。

HPM 包含以下組件：

• NVIDIA Grace CPU (2)
• 適用于 GPU 圓盤和 I/O 卡的連接器
• 2U AC 服務器中搭載的 GPU 模組 (2)

每個可插拔 GPU 模塊包含 GPU、B2B 連接和 NVLink 連接器。

實時主流 LLM 推理?

GB200 NVL2 平臺引入了在兩個 NVIDIA Grace CPU 和兩個 NVIDIA Blackwell GPU 之間共享高達 1.3 TB 的大型一致內存。這種共享內存與第五代 NVIDIA NVLink 和高速芯片到芯片 (C2C) 連接相結合，可為 Llama3-70B 等主流語言模型提供 5 倍的實時 LLM 推理性能。

GB200 NVL2 平臺的輸入序列長度為 256，輸出序列長度為 8000，FP4 精度，每秒可生成高達 25,000 個令牌，即每天可生成 2.16 億個令牌。

圖 3 顯示 GB200 NVL2 在支持 AI 和 RAN 工作負載時的表現。

以下是 GB200 NVL2 平臺上 RAN 和 AI 的平臺租賃情況：

• Workload at 100% utilization
  • RAN： 36x 100 MHz 64T64R
  • *令牌： 2.5 萬個令牌/秒
  • AI：*10 美元/小時。 | 約 9 萬美元/年
• Workload at 50:50 split utilization
  • RAN： 18x 100 MHz 64T64R
  • *令牌： 12.5 萬個令牌/秒
  • AI：< 5 美元/小時。 | 約 4.5 萬美元/年

*Token AI 工作負載：Llama-3-70B FP4 | 序列長度輸入 256 / 輸出 8K

NVIDIA BlueField-3?

NVIDIA BlueField-3 DPU 支持實時數據傳輸，具有前傳 eCPRI 流量所需的 5G 精度計時。

NVIDIA 提供完整的 IEEE 1588v2 精度時間協議 (PTP) 軟件解決方案。NVIDIA PTP 軟件解決方案旨在滿足最嚴苛的 PTP 配置文件。NVIDIA BlueField-3 集成了集成的 PTP 硬件時鐘 (PHC)，可使設備實現低于 20 納秒的精度，同時提供與時間相關的功能，包括時間觸發調度和基于時間的、軟件定義的網絡 (SDN) 加速。

這項技術還使軟件應用能夠以高帶寬傳輸前傳、RAN 兼容的數據。

NVIDIA 網絡 Spectrum-X?

邊緣和數據中心網絡在推動 AI 和無線技術進步和性能方面發揮著至關重要的作用，是分布式 AI 模型推理、生成式 AI 和世界級 vRAN 性能的支柱。

NVIDIA BlueField-3 DPU 可跨數百和數千個 NVIDIA Blackwell GPU 實現高效可擴展性，從而實現出色的應用程序性能。

NVIDIA Spectrum-X 以太網平臺專為提高

基于以太網的 AI 云的性能和效率，并包含 5G 定時同步所需的所有功能。與傳統以太網相比，它提供了 1.6 倍的 AI 網絡性能，以及在多租戶環境中的一致、可預測的性能。

在機架配置中部署 Aerial RAN Computer-1 時， Spectrum-X 以太網交換機可用作雙重用途的網絡。它可以處理計算網絡上的前回傳和 AI（東西向）流量，同時還可以在融合網絡上傳輸回傳或中回傳以及 AI（南北向）流量。遠程無線電單元按照 eCPRI 協議終止于交換機。

Aerial RAN Computer-1 上的軟件堆棧?

Aerial RAN Computer-1 上的關鍵軟件堆棧包括以下內容：

• NVIDIA Aerial CUDA 加速的 RAN
• NVIDIA AI Enterprise 和 NVIDIA NIM
• NVIDIA 云功能

NVIDIA Aerial CUDA 加速的 RAN?

NVIDIA Aerial CUDA 加速的 RAN 是 NVIDIA 構建的主要 RAN 軟件，適用于在 Aerial RAN Computer-1 上運行的 5G 和私人 5G。

它包含 NVIDIA GPU 加速的可互操作 PHY 和 MAC 層庫，可輕松修改并通過 AI 組件無縫擴展。這些強化的 RAN 軟件庫還可供其他軟件提供商、電信公司、云服務提供商（CSP）和企業使用，以構建自定義商業級、軟件定義的 5G 和未來的 6G 無線接入網（RAN）。

Aerial CUDA 加速的 RAN 與 NVIDIA Aerial AI 無線電框架集成，后者提供了一系列 AI 增強功能，以便使用 pyAerial、NVIDIA Aerial Data Lake 和 NVIDIA Sionna 等框架工具在 RAN 中進行訓練和推理。

NVIDIA Aerial Omniverse 數字孿生 是一個系統級網絡數字孿生開發平臺，可實現無線系統的物理屬性準確仿真。

NVIDIA AI Enterprise 和 NVIDIA NIM?

NVIDIA AI Enterprise 是面向企業生成式 AI 的軟件平臺。 NVIDIA NIM 是一系列微服務，可簡化生成式 AI 應用基礎模型的部署。

它們共同提供了易于使用的微服務和藍圖，可加速數據科學工作流，并簡化生產級 co-pilots 和其他企業生成式 AI 應用的開發和部署。

企業和電信公司可以訂閱托管式 NVIDIA Elastic NIM 服務，也可以自行部署和管理 NIM。Aerial RAN Computer-1 可以托管基于 NVIDIA AI Enterprise 和 NIM 的 AI 和生成式 AI 工作負載。

NVIDIA 云功能?

NVIDIA Cloud Functions 為 GPU 加速的 AI 工作負載提供無服務器平臺，確保安全性、可擴展性和可靠性。它支持各種通信協議：

• HTTP 輪詢
• 串流
• gRPC

Cloud Functions 主要適用于運行時間較短、可搶占性的工作負載，例如推理和微調。這種特性非常適合 Aerial RAN Computer-1 平臺，因為 RAN 工作負載資源利用率會隨著時間的變化而變化。

暫時和搶占性的 AI 工作負載通常可以填補一天中閑置的時間，從而保持 Aerial RAN Computer-1 平臺的高利用率。

部署選項和性能?

Aerial RAN Computer-1 具有多個部署選項，其中包括無線接入網中的所有點：

• 無線電基站基站基站
• 接入點位置
• 移動交換辦公室
• Baseband 酒店

對于私有 5G，它可以位于企業場所。

Aerial RAN computer-1 可以支持各種配置和位置，包括私有云、公有云或混合云環境，同時使用相同的軟件，而無論位置或接口標準。與傳統的單用途 RAN 計算機相比，這種能力提供了前所未有的靈活性。

該解決方案還支持各種網絡技術：

• 開放無線接入網（Open Radio Access Network）架構
• AI-RAN
• 3GPP 標準
• 其他行業領先的規格

與早期的 NVIDIA H100 和 NVIDIA H200 GPU 相比，基于 GB200 的 Aerial RAN Computer-1 在 RAN 處理、AI 處理和能效方面的性能持續提升（圖 4）。

GB200 NVL2 平臺為現有基礎設施提供了一臺 MGX 服務器，易于部署和橫向擴展。您可以通過高端 RAN 計算獲得主流 LLM 推理和數據處理。

結束語?

AI-RAN 將徹底改變電信行業，使電信公司能夠通過生成式 AI、機器人和自主技術挖掘新的收入來源并提供增強的體驗。NVIDIA AI Aerial 平臺實現了 AI-RAN，使其與 NVIDIA 實現無線網絡 AI 原生的更廣闊愿景保持一致。

借助 Aerial RAN Computer-1，電信公司現在可以在通用基礎設施上部署 AI-RAN。您可以通過同時運行 RAN 和 AI 工作負載來最大限度地提高利用率，并使用 AI 算法提高 RAN 性能。

最重要的是，借助這臺普通計算機，您可以抓住全新的機會，成為需要本地計算和數據所有權來處理 AI 工作負載的企業的首選 AI 網絡。您可以從 AI 優先的方法開始，然后選擇 RAN，進行軟件升級，從第一天開始就最大限度地提高投資回報率。

T-Mobile 和 SoftBank 已宣布計劃與領先的 RAN 軟件提供商合作，使用 NVIDIA AI Aerial 的硬件和軟件組件實現 AI-RAN 的商業化。

在世界移動通信大會上，Vapor IO 和拉斯維加斯市宣布了 全球首個使用 NVIDIA AI Aerial 的私有 5G AI-RAN 部署 。

我們正處于利用人工智能（AI）轉變無線網絡的轉折點。與我們一起參加在華盛頓特區舉行的 NVIDIA AI 峰會 以及 NVIDIA 6G 開發者日 活動，詳細了解 NVIDIA Aerial AI 和 NVIDIA Aerial RAN Computer-1。